(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210359925.X (22)申请日 2022.04.06 (71)申请人 上海擎测机电工程 技术有限公司 地址 200434 上海市虹口区广纪路738号2 号楼408室 (72)发明人 钱韫辉　高巍　 (74)专利代理 机构 上海中外企专利代理事务所 (特殊普通 合伙) 31387 专利代理师 孙益青 (51)Int.Cl. G06V 10/80(2022.01) G06V 10/44(2022.01) G06V 10/46(2022.01) G06T 3/40(2006.01) (54)发明名称 一种红外图像与高清视频的融合方法与系 统 (57)摘要 本发明公开了一种红外图像与高清视频的 融合方法与系统， 方法包含以下步骤： 步骤1 ‑步 骤6， 系统包含红外热图像获取模块、 可见光视频 帧图获取模块、 图片处理模块、 图片边缘提取模 块、 轮廓点提取模块、 相似性计算模块、 关键点处 理模块、 图像融合模块， 能够将红外图像和高清 视频融合得到一幅既具有温度分布信息、 又有较 高清晰度的融合图像， 能够准确定位高温区域， 可以快速定位故障位置， 如果只采用红外监控的 话， 只能看到温度的大体分布， 难以定位到故障 点的具体位置， 结构 简单， 便于使用。 权利要求书2页 说明书8页 附图2页 CN 114708477 A 2022.07.05 CN 114708477 A 1.一种红外图像与高清视频的融合方法， 其特 征在于， 包 含以下步骤： 步骤1:从红外热成像模块中获取温度数据并进行处 理得到红外热图像记为 imgA； 获取可见光视频帧图记为 imgB； 对所述imgA与所述imgB进行尺寸归一化处理使得所述imgA与所述imgB的图像尺寸一 致； 步骤2： 对所述imgA与所述imgB分别进行边缘提取得到边缘图像数据分别记为imgA_ canny与imgB_can ny； 步骤3： 从所述imgB_canny中找出待检测目标的五个轮廓点,得到矩阵retB＝[ptB1, ptB2,ptB3,ptB4,ptB5]； 步骤4： 根据所述矩阵retB与所述 imgA_can ny进行相似性度量计算得到相似性度值； 根据所述相似性度值获取所述imgA中的五个轮廓点， 得到矩阵retA＝[ptA1,ptA2, ptA3,ptA4,ptA5]； 步骤5： 将ptBi(i＝1, …,5)与ptAi(i＝1, …,5)依次对应， 得到五对关键点{ptB1, ptA1}、 {ptB2,ptA2}、 {ptB3,ptA3}、 {ptB4,ptA4}、 {ptB5,ptA5}， 其中ptBi表示矩阵retB中 的点， i＝0,1,2,3,4， pt Ai表示所述 imgA中的像素点， i ＝0,1,2,3,4； 步骤6： 根据五对所述关键点对所述 imgA与所述 imgB进行图像融合。 2.如权利要求1所述的一种红外 图像与高清视频的融合方法， 其特征在于， 步骤1中从 红外热成像模块中获取24*32个所述温度数据的阵列， 对所述温度数据阵列进行处理后得 到红外热图像记为 imgA； 采用双线性插值法对所述imgA与所述imgB进行尺寸归一化处理使得所述imgA与所述 imgB的图像尺寸 一致。 3.如权利要求2所述的一种红外 图像与高清视频的融合方法， 其特征在于， 步骤2中使 用边缘检测算法对所述imgA与所述imgB分别进行边缘提取,得到边缘图像数据分别记为 imgA_can ny与imgB_can ny。 4.如权利要求3所述的一种红外 图像与高清视频的融合方法， 其特征在于， 步骤3中从 所述imgB_can ny中的边廓线中获取待检测目标的五个 轮廓点。 5.如权利要求4所述的一种红外 图像与高清视频的融合方法， 其特征在于， 步骤4中根 据公式 对所述矩阵retB与所述imgA _canny进行相似性度量 计算得到相似性度值， 其中Bi表示矩阵retB中的点， i＝0,1,2,3,4， Aj表示所述imgA_canny 中的像素点， j＝0,1, …,240*320， cos( θ )i,j表示Bi和Aj两个向量方向之间的差异； 将所述相似 性度值输入公式 中进行计算得到所述 imgA中得分最高的五个轮廓点并用矩阵retA＝[ptA1,ptA2,ptA3,ptA4,ptA5]来表示， 其 中， cos( θ )i,j表示Bi和Aj两个向量方向之间的差异， Score(A,B)表示取co s( θ )i,j在Aj方向的 最大值， 权　利　要　求　书 1/2 页 2 CN 114708477 A 26.如权利要求5所述的一种红外 图像与高清视频的融合方法， 其特征在于， 步骤6中根 据等式imgMerge＝α *imgA+β *imgB进行图像叠加， 式中α +β ＝1， α 代表图像imgA的权重， β 代 表图像imgB的权 重， imgMerge表示融合之后的图像。 7.一种红外图像与高清视频的融合系统， 其特征在于， 包含红外热图像获取模块、 可见 光视频帧图获取模块、 图片处理模块、 图片边缘提取模块、 轮廓点提取模块、 相似性计算模 块、 关键点处 理模块、 图像融合模块； 所述红外热图像获取模块用于从红外热成像模块中获取温度数据并进行处理得到红 外热图像记为 imgA； 所述可见光视频帧图获取模块用于获取 可见光视频帧图记为 imgB； 所述图片处理模块用于对所述imgA与所述imgB进行尺寸归一化处理使得所述imgA与 所述imgB的图像尺寸 一致； 所述图片边缘提取模块用于对所述imgA与所述imgB分别进行边缘提取得到边缘 图像 数据分别记为 imgA_can ny与imgB_can ny； 所述轮廓点提取模块用于从所述imgB_canny中找出待检测目标的五个轮廓点,得到矩 阵retB＝[ptB1,ptB2,ptB3,ptB4,ptB5]； 所述相似性计算模块用于根据所述矩阵retB与所述imgA_canny进行相似性度量计算 得到相似性度值； 所述轮廓点提取模块还用于根据 所述相似性度值获取所述imgA中的五个轮廓点， 得到 矩阵retA＝[ptA1,ptA2,ptA3,ptA4,ptA5]； 所述关键点处理模块用于将ptBi(i＝1, …,5)与ptAi(i＝1, …,5)依次对应， 得到五对 关键点{ptB1,ptA1}、 {ptB2,ptA2}、 {ptB3,ptA3}、 {ptB4,ptA4}、 {ptB5,ptA5}， 其中ptbi表 示矩阵retB中的点， i ＝0,1,2,3,4， ptbi表示所述 imgA中的像素点， i ＝0,1,2,3,4； 所述图像融合模块用于根据五对所述关键点对所述 imgA与所述 imgB进行图像融合。 8.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质上存储有计算机 程序， 所述计算机程序被处 理器执行时实现如权利要求1 ‑6中任一项所述的方法的步骤。权　利　要　求　书 2/2 页 3 CN 114708477 A 3