(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210462158.5 (22)申请日 2022.04.28 (71)申请人 中国人民公安大 学 地址 100038 北京市西城区木樨地 南里1号 乙29号楼1-3层 (72)发明人 王任华　杨馨　冯琦　霍宏涛　 (74)专利代理 机构 北京恒程知识产权代理有限 公司 11914 专利代理师 许峰 (51)Int.Cl. G06T 5/50(2006.01) G06V 10/80(2022.01) G06K 9/62(2022.01) (54)发明名称 图像融合方法、 装置、 终端设备以及存储介 质 (57)摘要 本发明公开了一种图像融合方法、 装置、 终 端设备以及存储介质， 通过获取源图像； 基于预 先创建的图像融合模型， 对所述源图像进行分 解， 得到基础层子图像与细节层子图像， 并根据 所述基础层子图像与所述细节层子图像得到目 标融合图片， 其中， 所述图像融合模型包括生成 器与鉴别器， 所述图像融合模型基于所述生成器 与所述鉴别器训练得到。 将源图像输入到训练完 成的图像融合模 型中， 通过图像融合模 型可以将 源图像分解为基础层子图像与细 节层子图像， 进 一步进行特征提取与融合， 得到目标融合图像， 由此在保证所得目标融合图像的对比度与清晰 度的同时， 也有助于边缘细节和纹理信息的融 合， 从而改善 了图像融合的效果。 权利要求书2页 说明书11页 附图4页 CN 114693578 A 2022.07.01 CN 114693578 A 1.一种图像融合方法， 其特 征在于， 所述图像融合方法包括以下步骤： 获取源图像； 基于预先创建的图像融合模型， 对所述源图像进行分解， 得到基础层子 图像与细节层 子图像， 并根据所述基础层子图像与所述细节层子图像得到目标融合图片， 其中， 所述图像 融合模型包括生成器与鉴别器， 所述图像融合模型基于所述生成器与所述鉴别器训练得 到。 2.如权利要求1所述的图像融合方法， 其特征在于， 所述基于预先创建的图像融合模 型， 对所述源图像进 行分解， 得到基础层子图像与细节层子图像， 并根据所述基础层子图像 与所述细节层子图像得到目标融合图片的步骤 包括： 通过所述图像 融合模型对所述源图像进行分解， 得到所述基础层子图像与 所述细节层 子图像； 通过对所述基础 层子图像进行初步融合与二次融合， 得到基础 层融合特 征图； 根据所述细节层子图像得到细节层融合特 征图； 根据所述基础 层融合特 征图与所述细节层融合特 征图得到目标融合图片。 3.如权利要求2所述的图像融合方法， 其特征在于， 所述通过所述图像融合模型对所述 源图像进行分解， 得到所述基础 层子图像与所述细节层子图像的步骤 包括： 通过所述图像 融合模型中的导向滤波模块对所述源图像进行导向滤波操作， 得到所述 基础层子图像； 对所述源图像进行导向滤波操作得到所述细节层子图像。 4.如权利要求2所述的图像融合方法， 其特征在于， 所述通过对所述基础层子图像进行 初步融合与二次融合， 得到基础 层融合特 征图的步骤 包括： 将所述基础层子图像与所述源图像在通道上进行初步融合， 得到基础层初步融合特征 图； 对所述基础 层初步融合特 征图进行 特征提取， 得到深层代 表特征图； 通过基础层卷积融合网络对所述深层代表特征图进行二 次融合， 得到所述基础层融合 特征图。 5.如权利要求2所述的图像融合方法， 其特征在于， 所述根据所述基础层融合特征图与 所述细节层融合特 征图得到目标融合图片的步骤 包括： 通过融合卷积网络对所述基础层融合特征图与 所述细节层融合特征图进行深度融合， 得到紧密特 征图； 通过重构网络对所述紧密特 征图进行重构， 得到所述目标融合图片。 6.如权利要求1所述的图像融合方法， 其特征在于， 所述基于预先创建的图像融合模 型， 对所述源图像进 行分解， 得到基础层子图像与细节层子图像， 并根据所述基础层子图像 与所述细节层子图像得到目标融合图片的步骤之前还 包括： 基于所述 生成器与所述 鉴别器训练得到所述图像融合模型， 具体包括： 获取预先采集的训练集， 其中， 所述训练集包括红外图像与可 见光图像； 通过所述生成器根据所述训练集得到样本融合图片； 通过鉴别器对所述样本 融合图片与对应的红外图像以及可见光图像分别进行鉴别， 得 到鉴别结果， 结合所述鉴别结果与预设整体损失函数训练所述图像融合模型， 其中， 所述鉴权　利　要　求　书 1/2 页 2 CN 114693578 A 2别器包括红外图像鉴别器与可 见光图像鉴别器。 7.如权利要求6所述的图像融合方法， 其特征在于， 所述通过鉴别器对所述样本 融合图 片与对应的红外图像以及可见光图像分别进行鉴别， 得到鉴别结果， 结合所述鉴别结果与 预设整体损失函数训练所述图像融合模型的步骤 包括： 通过所述鉴别器对所述样本融合图片与对应的红外 图像以及可见光图像分别进行鉴 别， 得到所述 鉴别结果， 并根据所述 鉴别结果得到对抗损失参数； 通过所述生成器计算内容损失参数， 并根据 所述对抗损失参数与所述内容损失参数计 算整体损失参数； 将所述对抗损失参数与所述整体损失参数回传至所述图像融合模型， 根据所述对抗损 失参数更新所述鉴别器的参数， 根据所述整体损失参数更新所述生成器的参数； 并返回执 行步骤： 通过 所述生成器根据所述训练集得到样本融合图片； 以此循环， 进行参数迭代， 直到所述图像融合模型收敛， 终止训练， 得到训练后的图像 融合模型。 8.一种图像融合装置， 其特 征在于， 所述图像融合装置包括： 获取模块， 用于获取源图像； 融合模块， 用于基于预先创建的图像 融合模型， 对所述源图像进行分解， 得到基础层子 图像与细节层子图像， 并根据所述基础层子图像与所述细节层子图像得到目标融合图片， 其中， 所述图像融合模型包括生成器与鉴别器， 所述图像融合模型基于所述生成器与所述 鉴别器训练得到 。 9.一种终端设备， 其特征在于， 所述终端设备包括存储器、 处理器及存储在所述存储器 上并可在所述处理器上运行的图像融合程序， 所述图像融合程序被所述处理器执行时实现 如权利要求1 ‑7中任一项所述的图像融合方法的步骤。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质上存储有图像融 合程序， 所述图像融合程序被处理器执行时实现如权利要求1 ‑7中任一项所述的图像融合 方法的步骤。权　利　要　求　书 2/2 页 3 CN 114693578 A 3