(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210543770.5 (22)申请日 2022.05.19 (71)申请人 华南农业大 学 地址 510642 广东省广州市天河区五山路 483号 (72)发明人 梁云　黄恩泽　 (74)专利代理 机构 广州市华学知识产权代理有 限公司 4 4245 专利代理师 李斌 (51)Int.Cl. G06T 5/00(2006.01) G06T 5/10(2006.01) G06T 7/40(2017.01) G06N 3/08(2006.01) G06N 3/04(2006.01)G06V 10/44(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) (54)发明名称 基于物理模型与特征稠密关联的图像去雾 方法及装置 (57)摘要 本发明公开了基于物理模型与特征稠密关 联的单图像去雾方法及装置， 方法包括： 采用预 先设立的编码器提取有雾图像的特征， 将编码器 输出特征分为浅层特征与 深层特征； 对深层特征 进行处理， 在深层特征中构建全局范围内的稠 密 关联关系， 利用全局信息对局部特征进行增强； 对浅层特征通过相邻小尺度的特征图计算出联 合参数， 基于联合参数和预先设立的大气散射模 型实现浅层特征映射， 得到清晰的浅层纹理特 征； 对增强后的深层特征与浅层纹理特征进行融 合， 将融合后特征输入预先设立的解码器， 得到 去雾后的清晰图像。 本发明构建了不同局部特征 的稠密关联关系， 能够有效地提升复杂场景的表 现， 避免伪影的产生， 生成更加真实的清晰图像 。 权利要求书3页 说明书10页 附图4页 CN 114897732 A 2022.08.12 CN 114897732 A 1.基于物理模型与特 征稠密关联的单图像去雾方法， 其特 征在于， 包括下述 步骤： 采用预先设立的编码器提取有雾 图像的特征， 并根据编码器中网络层数的不同， 将编 码器输出 特征分为浅层特 征与深层特 征； 对编码器输出的深层特征进行处理， 使用卷积来强化局部特征并提取出特征图， 将特 征图处理为特征序列， 利用多头注意力构建特征序列内每个元素与所有元素之间的联系， 从而实现全局范围内局部特征之间的稠密关系的构建， 使用前馈网络对多头注意力的输出 序列进行处 理， 加强元 素自身内部的信息交流， 得到增强后的深层特 征； 对编码器输出的浅层特征通过相邻小尺度的特征图计算出联合参数， 基于联合参数和 预先设立的大气散射模型实现浅层特 征映射， 得到清晰的浅层纹 理特征； 对增强后的深层特征与浅层纹理特征进行融合， 将融合后特征输入预先设立的解码 器， 得到去雾后的清晰图像。 2.根据权利要求1所述基于物 理模型与特征稠密关联的单图像去雾方法， 其特征在于， 所述编码器 基于ResBl ock与下采样设计得到； 所述 解码器基于ResBl ock与上采样得到 。 3.根据权利要求1所述基于物 理模型与特征稠密关联的单图像去雾方法， 其特征在于， 所述卷积获取的特 征图处理为特征序列， 具体为： 使用3×3的滑动窗口在卷积 获取的特征图的全局范围内捕获局部特征， 并将滑动窗口 内的特征展开为 1×9的标量作为序列的元素， 使得该序列的不同元素代表了不同的局部特 征。 4.根据权利要求1所述基于物 理模型与特征稠密关联的单图像去雾方法， 其特征在于， 所述多头注意力由具有全局感受野的自注意力组成， 用于 建立全局特征信息之 间的稠密关 系， 从而弥补卷积固定感受野带来的局限， 在多头注意力中， 一个自注意力构成了一个头的 计算， 是多头注意力构建全局特征关联的关键算子， 同时， 不同的头在 全局的不同范围内学 习到不同局部特 征之间支持， 使得网络更 具有表现力， 所述自注意力机制定义如下： 其中， E表示的是自注意力的输入向量， Qu、 Ke、 Va分别 表示生成查询值Query、 键值Key、 数值Value的线性运算， dk代表键值的维度， 自注意力通 过Qu(E)Ke(E)T使得查询值与键 值进 行矩阵相乘运算， 从而构建序列E中每个元素之间的稠密关联关系， 使元素之间可相互影 响， Va(E)表示每 个元素自身的映射， 使其在无法与其 他元素建立关联时也可以被增强。 5.根据权利要求1所述基于物 理模型与特征稠密关联的单图像去雾方法， 其特征在于， 所述联合 参数通过 下述方式计算： 其中，d表示的是编码器输出的特征图， fe表示的是解码器输出的与fd相同尺度的特征 图， 在获取联合参数K的过程中， 使用了 卷积以及Sigmoid来近似求得 的结果， 从而防止 梯度爆炸 。 6.根据权利要求1所述基于物 理模型与特征稠密关联的单图像去雾方法， 其特征在于，权　利　要　求　书 1/3 页 2 CN 114897732 A 2所述大气散射模型定义如下： I(x)＝J(x)T(x)+A(1 ‑T(x)) 其中， I、 J表示的是有雾图像与无雾图像， T、 A分别代表传输图和全局大气光， x表示的 是像素， 构建的物理模型使用了大气光与传输图的联合参数， 基于大气光与传输图的联合 参数的模型表示 为： J(x)＝J(x)K(x) ‑K(x)+b 其中， K表示大气光与传输图的联合 参数， b为恒定偏差可设置为常数。 7.根据权利要求1所述基于物 理模型与特征稠密关联的单图像去雾方法， 其特征在于， 还包括下述步骤： 利用对比学习方法进行网络优化， 同时引入了Focal  Frequency  Loss进 行优化提升去雾性能， 具体为： 使用预训练VG G来构建对比损失函数， 对比损失函数为： 其中， V代表的是VGG特征提取器， i代表其特征提取所用的网络层数， Ihaze表示的是有雾 图像、 Igt表示的是清晰图像， F表示的是去雾网络， 对比损失函数衡量的是输出图像到正样 本和负样本之 间的距离， 将标准清晰图像 设置为正样本、 输入的有雾图像作为负样本， 对比 损失能够使输出图像靠近正样本， 远离负样本， 负样本的加入为网络提供了新的参照， 提升 了模型性能； FocalFrequency  Loss从图像的频率域角度对网络进行约束， 使生成图像在频率上保 真， 同时使得网络能够更加关注于退化严重的区域， 从而能够准确 地还原出退化区域的纹 理和色彩， 离散傅里叶变换被用于将图像从空间域转变到频率域， 随后利用欧拉公式分离 出实部与虚部， 再计算损失， FocalFrequency  Loss为： 其中， Cat 表示的是图像的实部和虚部的连接， ρ 表示动态权 重: c、 d分别表示图像的长和宽， ρ使得网络能够根据不同的退化程度进行动态的权重调 整， 从而提升网络在退化 严重区域的表现。 8.基于物 理模型与特征稠密关联的单图像去雾系统， 其特征在于， 应用于权利要求1 ‑7 中任一项所述的基于物理模型与特征稠密关联的单图像去雾方法， 包括编码模块、 特征稠 密关联模块、 浅层特 征映射模块以及解码模块； 所述编码模块， 用于采用预先设立的编码器提取有雾 图像的特征， 并根据编码器中网 络层数的不同， 将编码器输出 特征分为浅层特 征与深层特 征； 所述特征稠密关联模块， 用于对编码器输出的深层特征进行处理， 使用卷积来强化局 部特征并提取出特征图， 将特征图处理为特征序列， 利用多头注意力构建特征序列内每个 元素与所有元素之间的联系， 从而实现全局范围内局部特征之间的稠密关系的构建， 使用 前馈网络对多头注意力的输出序列进行处理， 加强元素自身内部的信息交流， 得到增强后 的深层特 征；权　利　要　求　书 2/3 页 3 CN 114897732 A 3