(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210766437.0 (22)申请日 2022.07.01 (65)同一申请的已公布的文献号 申请公布号 CN 114882444 A (43)申请公布日 2022.08.09 (73)专利权人 浙江智慧视频安防创新中心有限 公司 地址 311215 浙江省杭州市萧 山区宁围街 道钱江世纪 公园C区1幢1单 元 (72)发明人 廖丹萍　 (74)专利代理 机构 北京辰权知识产权代理有限 公司 11619 专利代理师 谷波 (51)Int.Cl. G06V 20/52(2022.01)G06V 10/77(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (56)对比文件 CN 102306295 A,2012.01.04 CN 113160286 A,2021.07.23 审查员 郭晓坤 (54)发明名称 一种图像融合处 理方法、 设备及 介质 (57)摘要 本公开涉及一种图像融合处理方法、 设备及 介质， 所述方法包括： 采集多波段图像数据并存 储， 构建初始训练图像数据集； 将所述图像数据 集中的每一张图像数据按照RGB颜色通道分为三 个单波段图像和一个或多个中长波红外波段图 像和/或短波红外波段图像； 将所述RGB波段图像 和一个或多个中长波红外波 段图像和/或短波红 外波段图像进行融合得到组合图像； 利用图像降 维方法分别对 所述组合图像进行降维处理， 得到 降维后的结构参考图像； 初始化基于神经网络的 波段融合模 型， 模型将组合图像融合成单波 段图 像； 构建包含 结构损失和颜色损失的总体损失函 数； 利用所述训练数据集和损失函数， 训练波段 融合模型， 得到训练后的波段融合模型。 权利要求书2页 说明书7页 附图2页 CN 114882444 B 2022.12.02 CN 114882444 B 1.一种图像融合处 理方法， 其特 征在于， 包括： 对测试图像进行处理， 得到每一张测试图像数据的不可见光图像和按照RGB颜色通道 分出的三个第一单波段图像； 将所述不可见光图像和所述第一单波段图像分别进行组合得到三个组合图像； 将所述组合图像分别输入 对应的训练好的波段融合模型， 得到三个第二单波段图像； 所述训练好的波段融合模型的训练方法为： 采集多波段图像数据并存 储， 构建初始训练图像数据集； 将所述图像数据集中的每一张图像数据进行处理得到不可见光图像和按照RGB颜色通 道分出三个第一单波段图像； 将所述第一单波段图像和所述 不可见光图像分别进行组合得到三个组合图像； 利用图像降维方法分别对所述组合图像进行降维处 理， 得到降维后的结构参 考图像； 将三个第一单波段图像、 及其对应的所述组合图像和所述结构参考图像构 成三个训练 数据集； 初始化基于神经网络的波段融合模型， 模型将组合图像融合成三个第二单波段图像； 分别构建所述 三个数据集对应的包 含结构损失和颜色损失的损失函数； 利用所述训练数据集和损 失函数， 训练波段融合模型， 得到三个训练后的波段融合模 型； 将所述三个第二单波段图像进行组合得到最终的三 通道输出图像。 2.根据权利要求1所述的方法， 其特征在于， 所述损失函数基于SSIM的结构损失以及 L2‑norm颜色损失构建得到 。 3.根据权利要求1所述的方法， 其特征在于， 所述不可见光图像为一个或多个中长波红 外波段图像和/或短波红外波段图像。 4.根据权利要求1所述的方法， 其特征在于， 所述不可见光图像和按照RGB颜色通道分 出的三个第一单波 段图像包括第一单波段图像R、 第一单波段图像 G、 第一单波段图像B以及 一个或多个中长波红外波段图像和/或短波红外波段图像。 5.根据权利要求1所述的方法， 其特征在于， 所述将三个第一单波段图像、 及其对应的 所述组合图像和所述结构参 考图像构成三个训练数据集， 具体包括： 将所述第一单波段图像R、 组合图像R ’以及所述结构参 考图像Rc’构成数据集1； 将所述第一单波段图像G、 组合图像G ’以及所述结构参 考图像Gc’构成数据集2； 将所述第一单波段图像B、 组合图像B ’以及所述结构参 考图像Bc’构成数据集3 。 6.根据权利要求5所述的方法， 其特 征在于， 所述损失函数 具体包括： 基于SSIM的结构损失以及L2 ‑norm颜色损失， 对于数据集1构建的波段神经网络模型R1， 其损失函数表示 为： ； 对于融合数据集2构建的波段神经网络模型G1， 其损失函数表示 为： ； 对于融合数据集3构建的波段神经网络模型B1， 其损失函数表示 为：权　利　要　求　书 1/2 页 2 CN 114882444 B 2； 其中， λ表示平衡S SIM损失和L2 ‑norm损失的权 重； N表示图像 像素的个数； R表示R通道的第一单波段图像R， G表示G通道的第一单波段图像G， B表示B通道的第一 单波段图像B； Rc’表示R通道的结构参考图像， Gc’表示G通道的结构参考图像， Bc’表示B通道的结构参 考图像； OR表示网络输出的融合后的R通道第二单波段图像， OG表示融合后的G通道第二单波段 图像， OB表示融合后的B通道第二单波段图像； 表示R通道的结构损失函数； 表示G通道的结构损失函数； 表示B通道的结构损失函数。 7.一种电子设备， 包括存储器、 处理器及存储在存储器上并可在处理器上运行的计算 机程序， 处理器执行计算机程序时实现权利要求1~6任一项中所述的图像融合处理方法对 应的步骤。 8.一种计算机存储介质， 其上存储有计算机程序指令， 其特征在于， 所述程序指令被处 理器执行时用于实现权利要求1~6任一项中所述的图像融合处 理方法对应的步骤。权　利　要　求　书 2/2 页 3 CN 114882444 B 3