(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210510202.5 (22)申请日 2022.05.11 (71)申请人 重庆理工大 学 地址 400054 重庆市巴南区红光大道69号 (72)发明人 王勇　袁鑫林　李博　蒋莉君　 杨文明　 (74)专利代理 机构 成都东唐智 宏专利代理事务 所(普通合伙) 51261 专利代理师 罗言刚 (51)Int.Cl. G06T 5/40(2006.01) G06V 10/42(2022.01) G06V 10/44(2022.01) G06V 10/80(2022.01) (54)发明名称 一种提取并融合局部和全局特征的低光图 像增强方法 (57)摘要 本发明公开了一种提取并融合局部和全局 特征的低光图像增强方法， 涉及图像处理技术领 域。 本发明利用搭建的BrightFormer网络结构， 有机地统一交叉卷积和自注意力机制， 同时兼顾 局部提取和全局依赖两大优势， 利用特征均衡化 融合单元， 从空间和通道两个维度对 特征进行融 合， 包括以下步骤。 本发明通过同时提取并融合 图像的局部和全局特征， 建立了一个新的低光照 图像增强网络模 型， 模型充分结合卷积和自注意 力模块学习到的局部细节和全局信息有效增强 低光照图像， 且通过一个新局部 ‑全局特征融合 模块， 该模块利用交叉卷积分支提取图像局部细 节信息， 细化高频信息， 使局部特征在整个网络 流程中持续保持和传递， 从而得到全局信息 。 权利要求书2页 说明书8页 附图6页 CN 114972134 A 2022.08.30 CN 114972134 A 1.一种提取并融合局部和全局特征的低光图像增强方法， 其特征在于， 本方法利用搭 建的BrightFormer网络结构， 有机地统一交叉卷积和自注意力机制， 同时兼顾局部提取和 全局依赖两大优势， 利用特征均衡化融合单元， 从空间和通道两个维度对特征进 行融合， 包 括以下步骤： S1.搭建配对的数据集， 所述数据集包括低光照图像和正常光照图像， 其中每张低光照 图像Ilow对应同一场景的正常光照图像Iref； S2.输入低光图像Ilow到网络中； S3.提取低光图像Ilow的浅层特 征F0； S4.通过一个 基础的编解码器i ll‑Net生成图像Ilow的基础光照估计i ll‑map； S5.将浅层特征F0和光照估计ill ‑map通过使用光照门控自注意力块I ‑GMSA的CTF模块 融合； S6.将融合得到的输入特 征继续通过U‑Net形式的编解码器结构提取 得到深层特 征Fd； S7.采用全局残差学习机制， 深层特征Fd通过残差连接与输入图像结合得到恢复图像 Ienhance。 2.根据权利要求1所述的一种提取并融合局部和全局特征的低光图像增强方法， 其特 征在于： 在S3中， 所述浅层特 征提取模块使用一个卷积模块， 公式如下： Fo＝Conv(Ilow)。 3.根据权利要求1所述的一种提取并融合局部和全局特征的低光图像增强方法， 其特 征在于： 在S4中， 通过一个基础的编解码器ill ‑Net输出图像的基础光照估计ill ‑map， 作为 一个亮度先验加入I ‑GMSA， 使网络更专注对强退化区域的学习， 帮助图像进 行恢复， 加快网 络的收敛。 4.根据权利要求1所述的一种提取并融合局部和全局特征的低光图像增强方法， 其特 征在于： 在S5中， 通过带有光照门控自注意力的CTF模块实现基础光照估计ill ‑map和浅层 特征F0的融合， 并且对自注意力模块中间特征K、 Q也进行了多头映射， 并加入门控G1， G2进 一步调节各特征融合的程度， 门控参数和多头映射相结合提升了特征表达的灵活性， 既可 以使网络在局部特征和恢复全局特征间调节； 也丰富了特征空间， 便于建立更全面的特征 联系， 其中wq， wk， wv， wm， wn， wx是映射矩阵， G1， G2是门控参数， 它们都是通过BrightFor mer网 络模型学习得到的， 通过基础ill ‑Net获得的光照信息相对粗糙， 所以I ‑GMSA只在还 未进行 下采样的前几个CTF中使用， 之后的CTF块使用的是GMSA 注意力模块的分支， 公式如下： Q＝wqnorm(X)K＝ wknorm(X)V＝ wvnorm(X) M＝wm(QTK)N＝wn(QTK) FIGMSA＝WX(Softmax( (G1MI+G2NI)⊙V))+X。 5.根据权利要求1所述的一种提取并融合局部和全局特征的低光图像增强方法， 其特 征在于： 在S6中， 所述U ‑Net形式的编解码器结构提取并融合图像的局部和全局特征， 并最 终得到深层特征， 光照门控自注 意力块I‑GMSA分支输出图像的全局特征， 交叉卷积分支CCB 输出图像的局部特征， 在双分支模块的尾部通过特征均衡化融合单元输出局部和全局特征 融合后的图像， 公式如下： FGMSA＝Wx(Softmax( (G1M+G2N)V))+X Fd＝U(Fo)权　利　要　求　书 1/2 页 2 CN 114972134 A 26.根据权利要求5所述的一种提取并融合局部和全局特征的低光图像增强方法， 其特 征在于： 在多头注意力的分支基础上增加交叉卷积分支， 通过两路并行 的非对称卷积对水 平与垂直梯度信息进 行探索以聚焦于边缘信息挖掘， 弥补了局部细节信息在自注意力块阶 段的缺失， 细化了高频信息， 使局部特 征可以在整体流 程中流畅的进行保持和传递。 7.根据权利要求5所述的一种提取并融合局部和全局特征的低光图像增强方法， 其特 征在于： 特征均衡化融合单元FEFU， 融合了双分支输出的特征， 将两分支的特征进行堆叠， 然后输入到特征均衡化融合单元中， 以注意力的形式从空间和通道两方面对分支特征进 行 筛选和组合， 以此消除它们之间的语义分歧， 这种融合过程极大地提高了特征 的全局感知 能力和局部细节 表现。 8.根据权利要求5所述的一种提取并融合局部和全局特征的低光图像增强方法， 其特 征在于： 将 融合之后的图像送入深度前馈网络DFN， 以编码来 自空间相邻像素的信息， 学习 图像结构， 从而进行有效的图像复原， 深度前馈网络使用深度卷积编码来自空间相邻像素 位置的信息， 有益于学习局部图像结构进 行图像复原， 深度前馈网络的操作类似注意力， 被 GELU函数激活的支路形成关注被作用在提取的特 征上， 公式如下： 9.根据权利要求1所述的一种提取并融合局部和全局特征的低光图像增强方法， 其特 征在于： 在S7中， 为了融合图像的空间细节信息， 使用了全局残差结构， 将Fd和输入图像进 行结合得到最终的恢复图像Ienhance， 公式如下： Ienhance＝Fd+Ilow。权　利　要　求　书 2/2 页 3 CN 114972134 A 3