(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202111427043.4 (22)申请日 2021.11.28 (65)同一申请的已公布的文献号 申请公布号 CN 114119443 A (43)申请公布日 2022.03.01 (73)专利权人 特斯联科技 集团有限公司 地址 100027 北京市朝阳区新源南路8号启 皓北京西塔1 1层 (72)发明人 李东东　王海　 (74)专利代理 机构 北京春江专利商标代理事务 所(普通合伙) 11835 专利代理师 曹洁 (51)Int.Cl. G06T 5/50(2006.01) G06T 7/33(2017.01) G06T 5/30(2006.01) G06N 20/00(2019.01) G06N 3/08(2006.01) G06N 3/04(2006.01) (56)对比文件 CN 112862871 A,2021.0 5.28 CN 111798396 A,2020.10.20CN 112634882 A,2021.04.09 CN 107038421 A,2017.08.1 1 CN 111340722 A,2020.0 6.26 CN 112861983 A,2021.0 5.28 CN 104112263 A,2014.10.2 2 CN 10420 0452 A,2014.12.10 CN 107610 692 A,2018.01.19 CN 10985915 3 A,2019.0 6.07 CN 110555841 A,2019.12.10 CN 111105346 A,2020.0 5.05 CN 112232280 A,2021.01.15 CN 113554112 A,2021.10.26 US 2020302249 A1,2020.09.24 CN 10971 1314 A,2019.0 5.03 陆经纬 等.基 于多特征融合的3D打印面具 攻击检测. 《激光与光电子学进 展》 .2019,第5 6卷 (第3期), 韩文军 等.基 于卷积神经网络的多光谱与 全色遥感图像融合 算法. 《南京师 大学报 （自然科 学版） 》 .2021,第4 4卷(第3期), (续) 审查员 张阿真 (54)发明名称 一种基于多光谱相机的图像融合系统 (57)摘要 本发明提供一种基于多光谱相机的图像融 合系统， 属于智 能图像处理技术领域。 该系统包 括： 多光谱图像采集模块、 第一处理器和第二处 理器； 所述多光谱图像采集模块用于针对同一拍 摄区域采集多张不同光谱带的图像； 所述第一处 理器， 用于对 所述多张不同光谱 带的图像进行去 噪处理和图像增强， 得到多张第一图像； 所述第 二处理器， 用于对多张所述第一图像进行配准， 得到多张第二图像； 还用于对配准后的多张所述 第二图像进行融合。 本发明能够智能地将多光谱 相机采集得到的多张不同光谱带的图像进行融合得到一张多光谱图像， 便于后续的分析和展 示。 在火灾预警场景中， 对多张不同光谱带的图 像进行融合， 不仅方便存储、 展 示， 而且利于火灾 识别时的分析处 理。 [转续页] 权利要求书3页 说明书8页 附图1页 CN 114119443 B 2022.07.01 CN 114119443 B (56)对比文件 Wei Zhang等.Multispect ral Image Filtering Method Based o n Image Fusion. 《PROCEEDINGS OF S PIE》 .2015,2/2 页 2[接上页] CN 114119443 B1.一种基于多光谱相机的图像融合系统， 其特 征在于， 包括： 多光谱图像采集模块、 第一处 理器和第二处 理器； 所述多光谱图像采集模块用于针对同一拍摄区域采集多张不同光谱带的图像； 所述第一处理器， 用于对所述多张不同光谱带的图像进行去噪处理和图像增强， 得到 多张第一图像； 所述第二处理器， 用于对多张所述第 一图像进行配准， 得到多张第二图像； 还用于对配 准后的多张所述第二图像进行融合； 所述第二处 理器， 用于利用图像融合模型对配准后的多张所述第二图像进行融合； 所述图像融合模型至少包括神经网络滤波器、 循环神经网络模块、 超限学习机自编码 器和堆叠去噪自编码器； 所述神经网络滤波器至少包括卷积层和反卷积层以及位于所述卷积层和所述反卷积 层之间的对称连接层， 用于对所述第二图像进行特征提取， 以输出所述第二图像的第一特 征； 其中， 所述卷积层的层数和所述反卷积层的层数相同， 且 所述卷积层和所述反卷积层相 对于所述对称连接层对称； 所述循环神经网络模块， 用于根据所述第一特 征， 输出所述第二图像的第二特 征； 所述超限学习机自编码器， 用于对所述循环神经网络模块输出的所述第 二特征进行特 征融合； 所述堆叠去噪自编码器， 用于根据融合后的所述第二特 征进行图像融合； 所述图像融合模型 是通过以下 方式训练得到： 随机选取所述图像融合模型的参数； 使用受限玻尔兹曼机对所述图像融合模型中的所述神经网络滤波器的参数进行预训 练； 使用去噪自编码器对所述图像融合模型的参数进行 逐层预训练； 用反向传播 算法对所述图像融合模型的参数进行调整； 使用去噪自编码器对所述图像融合模型的参数进行 逐层预训练时使用的损失函数为： 其中， y、 x为训练样本通过所述图像 融合模型进行融合后得到的融合图像、 样本 中通过 其他融合方式得到的融合图像， f(W)为权重衰减项， a为权重值， m＝1,2,3 …,M， M为所述堆 叠去噪自编码器中隐藏层神经单元的数量， b为稀疏性参数， 为第m个隐藏神经单元的平 均活跃度； 所述第二处理器还用于分别获取多张所述第 二图像的灰度均值， 根据 各张所述第 二图 像的灰度均值之间的比值确定融合权 重； 分别对多张所述第二图像进行 连续上采样， 获得每张所述第二图像的上采样金字塔； 根据所述融合权重， 将各张所述第 二图像的上采样金字塔的各层信 息分别进行叠加得 到融合图像的上采样金字塔； 对所述融合图像的上采样金字塔， 利用自下向上的递推方法得到最终融合图像； 所述第二处理器用于针对所述融合图像的上采样金字塔中的下层图像进行下采样， 得权　利　要　求　书 1/3 页 2 CN 114119443 B 3