(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210555218.8 (22)申请日 2022.05.20 (71)申请人 合肥工业大 学 地址 230009 安徽省合肥市屯溪路193号 申请人 安徽省地质调查院 （安徽省地质科 学研究所） (72)发明人 董张玉　许道礼　彭鹏　张晋　 汪燕　杨智　 (74)专利代理 机构 安徽合肥华信知识产权代理 有限公司 341 12 专利代理师 余成俊 (51)Int.Cl. G06V 10/80(2022.01) G06V 10/44(2022.01) G06V 10/82(2022.01)G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种图像融合的算法 (57)摘要 本发明公开了一种图像融合的算法， 在 整体 网络架构方面， 本发明使用双分支网络将网络划 分为细节提升分路和空间信息 保持分路， 不仅在 融合图像中保持了MS图像的光谱信息， 而且显著 增强了融合图像中的空间细 节信息； 在残差模块 方面， 本发 明利用多尺度残差融合模块可以在更 细粒度的层次上提高网络的多尺度表 示能力， 增 加每个网络层的感受野， 增加算法的特征提取能 力； 在解码器方面， 本发明采用嵌套连接的方式 将提取的多尺度特征先进行上采样， 然后采用跳 过连接的方式将不同尺度的特征充分融合， 使 得 融合结果的空间细节 表达能力更强。 权利要求书2页 说明书11页 附图9页 CN 114821261 A 2022.07.29 CN 114821261 A 1.一种图像融合的算法， 其特征在于： 通过双分支的多尺度残差融合嵌套连接网络架 构来实现SAR图像和MS图像的融合； 所述的双分支的多尺度残差融合嵌套连接网络架构包 括有细节提升分路网络架构和光谱保持分路网络架构， 具体步骤如下： (1)获取SAR图像和MS图像中的高频信息； (2)在细节提升分路网络架构中， 将获取的高频信 息分别依次经过多深度 特征提取层、 多尺度残差融合网络层 及嵌套连接解码器进行图像重建， 得到 重建图像； (3)在光谱保持分路网络架构中， 把MS图像进行三倍上采样； 把上采样后的MS图像与 步 骤(2)获取的重建图像进行融合， 使MS光谱信息和重建图像的细节信息都注入到融合图像 中， 得到最终的图像融合结果。 2.根据权利要求1所述的一种图像 融合的算法， 其特征在于： 步骤(1)的具体内容如下： 将SAR图像和 MS图像经过高通滤波器获取图像的高频信息， 并且把MS图像的高频信息经过 三倍上采样到SAR图像同一分辨率， 分别通过1 ×1， (1,60)和1 ×1， (3,60)卷积块， 将其输出 通道值增 加到60。 3.根据权利要求1所述的一种图像 融合的算法， 其特征在于： 步骤(2)中， 在所述的多深 度特征提取层的不同深度分别将图像特征信息进 行输出， 获得不同深度的特征信息在多尺 度残差融合网络层中进行 特征融合， 利用基于嵌套连接的解码器进行图像的重构。 4.根据权利要求3所述的一种图像融合的算法， 其特征在于： 所述的多尺度残差 融合网 络层是将n个通道的特征提取器替换为s组较小的特征提取器， 每组特征提取器使用k个通 道， n＝s×k， 把较小的特征提取器以一个类似残差的形式分层连接起来， 用来增加输出特 征可以表示的尺度的范围； 把输入特征信息划分成s组， 首先， 每组特征提取器从输入特征 信息中提取特征， 其次将前一组的输出特征和本组输入特征信息一起发给下一组特征提取 器， 这个步骤反复多次， 直至所有的输入特征信息都得到处理； 最后， 来自每一组的特征被 连接起来， 并发送到另一组卷积层来进行 特征信息融合。 5.根据权利要求4所述的一种图像融合的算法， 其特征在于： 所述的多尺度残差 融合网 络层工作原理如式(1)所示： 设xi表示输入信息， 其中i∈{1,2,...,s}， s＝4， ki()表示3x3 卷积， 那么输出yi为： 6.根据权利要求4所述的一种图像融合的算法， 其特征在于： 所述的嵌套连接解码器有 两个卷积层， 每个都是卷积核为3 ×3的卷积层； 在每一行中， 卷积块之 间通过短连接进 行连 接； 针对所述的多尺度残差融合网络层中不同层级的输出， 嵌套连接解码器通过上采样的 方式将特 征信息采样到同一尺度， 充分融合 其多尺度的图像特 征。 7.根据权利要求1所述的一种图像融合的算法， 其特征在于： 所述的光谱保持分路网络 架构实现原理如下： 其中F为融合图像， Fhp为细节提升分路网络架构的输出图像， ↑MS为三倍上采样后的MS 图像。权　利　要　求　书 1/2 页 2 CN 114821261 A 28.根据权利要求7所述的一种图像融合的算法， 其特征在于： 所述的双分支的多尺度残 差融合嵌套连接网络架构使用的损失函数Ltotal包括光谱损失函数Lspectral和细节损失函数 Ldetail两部分， 如式(3)所示： Ltotal＝Lspectral+λLdetail         (3) 其中， λ是在光谱损失函数Lspectral和细节损失函数Ldetail之间的参数； 光谱损失函数Lspectral为细节提升分路网络架构和 光谱提升分路网络架构融合后的图 像F和参照图像GT的L2范 数， 其函数如公式(4)所示： 其中， N是每一批训练图像对的数量， GT(i)表示第i个参照的原始MS图像， F(i)表示第i对 细节提升分路网络架构和光谱保持分路网络架构融合后的图像； 细节损失函数Ldetail为细节提升分路网络架构输出 的融合结果Fhp和SAR图像的高频信 息Shp之间的L2范 数， 其函数如公式(5)所示： 其中 表示第i对SAR图像与多光谱图像细节提升分路网络架构输出的细节信息， 表示第i张SAR图像的高频信息 。权　利　要　求　书 2/2 页 3 CN 114821261 A 3