(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210417736.3 (22)申请日 2022.04.20 (71)申请人 合肥工业大 学 地址 230009 安徽省合肥市包河区屯溪路 193号 (72)发明人 齐美彬　李坤袁　蒋建国　杨艳芳　 李小红　庄硕　项厚宏　 (74)专利代理 机构 安徽省合肥新 安专利代理有 限责任公司 34101 专利代理师 陆丽莉　何梅生 (51)Int.Cl. G06T 5/50(2006.01) G06T 7/11(2017.01) G06T 7/136(2017.01) G06V 10/762(2022.01)G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于Tran sformer的红外偏 振图像融合 方法 (57)摘要 本发明公开了一种基于Tran sformer的红外 偏振图像融合方法， 其步骤包括： 1、 对红外偏振 图像进行预处理， 降低偏振度图像中的噪声干 扰； 2、 构建基于Transformer红外偏振图像融合 网络； 3、 建立红外偏 振图像与融合图像 之间的损 失函数； 4、 用红外强度与 偏振度图像对融合网络 进行训练， 并用训练后的模型对待处理的红外偏 振图像进行融合。 本发明通过Transformer 自注 意力机制对偏振度图像的全局显著性特征进行 提取， 并能利用偏振度图像总变分约束损失， 进 一步提升网络性能， 从而能有效提高红外偏振图 像的融合效果。 权利要求书5页 说明书14页 附图5页 CN 114693577 A 2022.07.01 CN 114693577 A 1.一种基于Transformer的红外偏振图像融合方法， 其特 征是按如下步骤进行： 步骤1、 对红外偏振图像进行 预处理； 步骤1.1、 分别获取N组0 °， 60°， 120°方向的红外偏振图像， 并计算对应的N组偏振 Stokes矢量{{I1,Q1,U1}...,{In,Qn,Un},...,{IN,QN,UN}}， 从而得到红外强度 图像集合 {I1,...,In,...,IN}和偏振度图像集合{P1,...,Pn,...,PN}， 其中， In表示第n张红外强度图 像也即第n组偏振Stok es矢量的第一分量， Qn,Un分别表示第n组偏振Stoke s矢量的第二和第 三分量， Pn表示第n张偏振度图像， 且 步骤1.2、 将第n张红外 强度图像In作为引导图， 并对第n张偏振度图像Pn进行导向滤波， 从而得到第n张引导滤波后的图像Gn， 进而得到引导滤波后的图像集合{G1,...,Gn,..., GN}； 步骤1.3、 对偏振度图像集合{P1,...,Pn,...,PN}进行超像素分割， 提取显著性目标区 域： 利用k‑means聚类方法对第n张偏振度图像Pn进行聚类， 得到分割后的每 个像素区域； 对任意一个像素区域的聚类中心与其相邻的像素区域进行距离度量， 并将像素区域距 离度量值作为相应相邻的像素区域的灰度值， 从而获得第n张超像素分割后的图像Sgn； 通过式(1)计算第n张超像素分割后的图像Sgn中第j个像素点Sgn(j)所对应的显著性像 素值San(j)并归一化处理后， 得到第j个像素点的灰度值Sa ′n(j)， 从而得到归一化后的显著 性图像Sa ′n： 式(1)中， θ表示常量系 数， Sgn(t)表示图像Sgn中第t个像素点的灰度值， xj,yj、 xt,yt分 别表示第j个 像素点、 第t个 像素点对应的像素坐标， j,t∈[1,T]， T为像素点总数； 步骤1.4、 令显著性阈值δ＝|max(Sa ′n)‑min(Sa′n)|/τ， 则第j 个像素点的显著性目标权 重 其中， max(Sa ′n)与min(Sa ′n)分别表示显著性图像Sa ′n中最大与最 小灰度值， τ 为常数； 通过式(2)对第n张引导滤波后的图像Gn的第j个像素点Gn(j)与第n张偏振度图像Pn的 第j个像素点Pn(j)进行加权求和， 从而获得第n张增强后的偏振度图像Rn的第j个像素点Rn (j)， 进而得到增强后的偏振度图像集 合{R1,...,Rn,...,RN}： 步骤2、 构建红外偏振图像融合 网络， 包括： 基于Transformer的Encoder编码模块、 残差 融合模块RFB、 Decoder解码模块、 输出模块； 并将红外强度图像集合{I1,...,In,...,IN}与 增强后的偏振度图像集 合{R1,...,Rn,...,RN}一起输入融合网络中； 步骤2.1、 基于Transformer的Encoder编码模块由M个多头自注意力块组成， 并分别为 SwinTB1,...,SwinTBm,...,SwinTBM； 其中， SwinTBm表示第m级多头自注意力块， m＝1, 2,...,M； 所述第m级多头自注意力块依次由第m级合并采样层PatchMergem、 第m级窗口多头权　利　要　求　书 1/5 页 2 CN 114693577 A 2自注意力层WMSLm和第m级移位窗口多头自注意力层SWMSLm构成； 所述第m级合并采样层Patc hMergem由第m级滑窗层Unfo ldm和第m级全连接层MLPm组成； 所述第m级窗口多头自注意力层WMSLm由第m级前归一化层LayerNorm1m、 第m级窗 口多头 计算单元WMSAm、 第m级后归一 化层LayerN orm2m和第m级窗口全连接层WMLPm组成； 所述第m级移位窗口多头自注意力层SWMSLm由第m级前归一化层LayerNorm3m、 第m级移 位窗口多头计算单元SWMSAm、 第m级后归一化层LayerNorm4m和第m级移位窗口全连接层 SMLPm组成； 当m＝1时， 所述第n张红外强度图像In和增强后的偏振度图像Rn分别输入第m个多头自 注意力块中； 经过第m级自注意力块SwinTBm的第m级合并采样层 PatchMergem的第m级滑窗层 Unfoldm的处理后相应输出尺寸为 的特征张量UfresultIm与UfresultRm， 在分 别经过第m级全 连接层MLPm的处理后相应输出尺 寸为 的特征张量Mlpresu ltIm 与MlpresultRm； 所述特征张量MlpresultIm与MlpresultRm分别依次经过第m级窗口多头自注意力层 WMSLm的第m级前归一化层LayerNorm1m和第m级窗口多头计算单元WMSAm； 由第m级窗口多头 计算单元WMSAm对归一化后的特征张量进行线性变换以及维度转置， 得到特征维度为 的两个特征张量， 再分别计算两 个特征张量全局自注意力特征， 相应 得到维度为 的特征张量WSAresultIm与WSAresultRm， 并对特征张量 WSAresultIm与WSAresultRm分别进行线性变换调整通道数， 输出维度为 的两 个特征张量， 再与第m级合并采样层PatchMergem的第m级全连接层MLPm的输出进行残差连 接， 从而分别输出 特征张量WSSresultIm与WSSresultRm； 所述特征张量WSSresultIm与WSSresultRm分别依次输入第m级后归一化层LayerNorm2m 和第m级窗口全连接层WMLPm中进行处 理后， 分别输出 特征张量WMLresultIm与WMLresultRm； 特征张量WMLresultIm与第m级后归一化层 LayerNor m2m输入的特征张量WSSresultIm进 行残差连接， 并输出尺寸 为 的特征张量WMSLresultIm； 特征张量WMLresultRm与第m级后归一化层 LayerNor m2m输入的特征张量WSSresultRm进 行残差， 并输出尺寸为 的特征张量WMSLresult Rm； 其中， W,H为第m张红外强度 图像Im和增强后的偏振度图像Rm的宽和高， Dm为第m级多头自注意力块 的输出通道数， Sm为 第m级滑窗层 Unfoldm的步长， hm为第m级多头自注意力块中头的个数， dm为第m级多头自注意 力块隐藏层节点数， ωm为第m级多头自注意力块中窗口 的大小；权　利　要　求　书 2/5 页 3 CN 114693577 A 3