(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210324405.5 (22)申请日 2022.03.30 (71)申请人 合肥综合 性国家科 学中心人工智能 研究院 （安徽省人工智能实验室） 地址 230088 安徽省合肥市望江西路5 089 号,中国科学技术大学先进技术研究 院未来中心B120 5-B1208 申请人 安徽大学 (72)发明人 刘耀　李成龙　王文忠　汤进　 (74)专利代理 机构 合肥市浩智运专利代理事务 所(普通合伙) 34124 专利代理师 张景云 (51)Int.Cl. G06T 3/40(2006.01) G06T 5/50(2006.01)G06V 10/80(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于域对抗转换的盲图像超分辨方法及系 统 (57)摘要 本发明提供一种基于域对抗转换的盲图像 超分辨方法， 包括： 输入一张具有未知退化信息 的低分辨率图像， 使用退化图像编码器提取输入 图像信息， 为了避免退化信息估计存在的缺陷， 引入域转换模块实现从退化数据域到干净数据 域的转换， 同时尽可能保留输入图像的自身信 息。 此外， 由于域转换过程中不可避免损坏图像 本身信息， 为了恢复域转换过程中损失的图像信 息， 我们引入 特征增强模块根据输入 特征恢复部 分细节信息， 同时为了充分利用图像自身的信 息， 我们在特征上采用模块中设计了多尺度残差 结构从不同感受野提取信息并使用选择性核方 式融合多尺度特 征。 权利要求书4页 说明书12页 附图3页 CN 114626989 A 2022.06.14 CN 114626989 A 1.基于域对抗 转换的盲图像超分辨方法， 其特 征在于， 包括以下步骤： 域对抗阶段： 步骤11： 利用真实退化数据r和合成退化数据x学习一个具有最优参数的退化图像的编 码器ER， X和解码器GR， X， 并使用判别器拉近真实数据和退化数据分布之间的差异； 步骤12： 利用与合成退化图像数据x相对应的干净图像数据y学习一个具有最优参数的 干净图像编码器EY和解码器GY， 使用干净图像编码器EY将干净图像压缩编码到一个高斯空 间中， 为后期的域映射操作提供基础； 步骤13： 利用干净图像数据y学习 一个具有最优参数的超分辨图像编码器HG， 并将输入 图像编码到符合高斯分布的特 征空间中， 为后续的图像超分辨操作提供基础； 2、 盲图像超分辨阶段 步骤21： 将已有 的包含未知退化信息的低分辨率 图像输入退化 图像编码器ER， X中提取 图像特征， 对图像本身的信息进行整合， 将输入图像编码到一个低维隐空间中； 步骤22： 将步骤21获得的图像特征输入域映射模块中， 将含有退化信息的低维图像特 征映射到一个不含退化信息的干净图像的特征， 最终达到去除输入图像中包含的退化信息 的目的； 步骤23： 将 步骤22获得的干净图像特征分别输入干净图像解码器GY和特征生成器Gfeat； 干净图像解码器GY与干净图像编码器EY采用对称结构设计， 并由图像恢复任务的重建损失 函数进行约束， 生成不含退化信息的低分辨率图像， 同时在解码过程中会生 成2个不同尺度 的特征， 该特征同步整合到特征增强模块Gfeat中， 对输入的特征进行信息增强， 判别器用于 判别生成器生成的信息是否真实以及将生成器输出的特征映射到高斯空间中进行后续的 超分辨操作， 最后得到 干净的高分辨 率图像。 2.根据权利要求1所述的基于域对抗转换的盲图像超分辨方法， 其特征在于， 所述域对 抗阶段学习过程具体为： 退化图像编码器ER， X学习： 根据batch  size的大小随机选择若干真实的和若干合成的 宽高为[H， W]的退化图像， 并将其输入到退化图像编码器ER， X中， ER， X将输入图像编码为具有 64通道， 宽高分别为[H/2， W/2]的特征， 并通过KL散度将 输出的特征约束到且符合高斯分布 的数据域中； 再设计一个域判别网络用以区分当前编 码来自于 真实退化图像数据域还是合 成退化图像数据域； 再设计一个与编码器ER， X结构对称的解码器GR， X， GR， X根据编码器ER， X输 出的特征重建回原输入图像， 并通过感知损失和对抗损失进行监 督； 干净图像编码器GY学习： 输入batch  size个宽 高分别为[H， W]的干净图像， 并将其输入 到干净图像编码 器EY中， 通过约束EY使得EY编码的特征符合高斯分布， 编码的特征具有64通 道、 宽高分别[H/2， W/2]； 再将编码的特征送入干净图像解码器GY中， 通过重建原输入的干 净图像来学习一个具有强大解码能力的解码器GY； 超分辨图像编码器HG学习： 输入batch  size个宽高分别为[H， W]的干净图像， 并将其输 入到超分辨图像编码器HG中， 将输入图像编码到一个高斯空间中， 其编码特征的通道为64、 宽高为[H， W]； 再对编码的特 征进行超分辨操作， 用以学习一个次优的超分辨编码器。 3.根据权利要求2所述的基于域对抗转换的盲图像超分辨方法， 其特征在于， 所述盲图 像超分辨阶段 学习具体过程 为： 输入batc h size个大小为[H， W]的具有合成退化信息的低分辨 率图像x；权　利　要　求　书 1/4 页 2 CN 114626989 A 2将输入图像x送入域对抗阶段训练好的退化图像编码器ER， X中用于提取形状为[B， C， H/ 2， W/2]的图像特征fdegrade， 其中B表示batch  size的大小， C表示特征通道数， 本模型中设为 64， H和W分别表示输入图像的宽高； 域映射模块Tdomain学习： 将fdegrade送入域映射模 块Tdomain， 输入输出前后特征的形状保持 不变， 域映射模块的作用是去除fdegrade中包含的退化信息； 在此阶段， 干净图像编码器EY对 一个干净低分辨图像y进行编码得到形状 为[B， C， H/2， W/2]的特征fclean， 该干净图像与第一 步输入的合成退化图像x相对应， 通过fclean引导域映射模块Tdomain将退化图像特征fdegrade转 换为干净图像特 征f′， 以此学习一个最优的域映射模块Tdomain的参数模型； 特征增强模块Fenhance学习： 首先， f ′输入干净图像解码器中GY中， 选取干净图像编码器 GY中两个不同尺度的特征融入特征生成器Gfeat中， 在此过程中主要使用L1损失、 感知损失和 判别损失来约束整个过程， 这个过程也被称为图像复原过程； 其次， f ′也会被输入到特征生 成器Gfeat中， 此时超分辨图像编码器HG会对干净低分辨图像编码得到形状 为[B， C， H， W]的特 征fsr， 通过fsr的引导使得特征生成器Gfeat可以聚合两个多尺度特征以及干净图像特征f ′中 关于图像的高频纹理信息以及内容信息， 然后生成一个与fsr具有相同数据分布 且包含相似 信息的特 征f″， 这个过程中会使用由一个判别器辅助， 通过对抗的方式不断使得f ″逼近fsr； 上采样模块Fsr学习： 将上一步输出的特征f ″送入域对抗阶段学习到的上采样模块Fsr 中， 以干净高分辨图像作为监督进行特征上采样模块的模型训练， 最终输出对应的干净高 分辨图像IHR。 4.根据权利要求3所述的基于域对抗 转换的盲图像超分辨方法， 其特 征在于， 在重建原始干净低分辨率图像y的过程中会生成一部分图像的高频细节信息， 在退化 信息去除以及细节信息补充过程中， 通过两次逐渐逼近的方式约束模块的学习， 如公式 (1)、 (2)所示： f′＝Tdomain(fdegrade)≈EY(y)    (1) f″＝Fenhance(f′)≈HG(y)    (2) 盲图像超分辨阶段整体流 程可由公式(3)的数 学公式近似表达： IHR＝Fsr(Fenhance(Tdomain(ER， X(x))))    (3)。 5.根据权利要求3所述的基于域对抗转换的盲图像超分辨方法， 其特征在于， 还包括测 试阶段， 测试 方法为： 步骤1、 输入一张真实的退化低分辨 率图像x； 步骤2、 使用退化图像编码器ER， X对输入图像x提取 退化图像特 征fdegrade； 步骤3、 将fdegrade输入学习好的域映射模块Tdomain去除图像中包含的退化信息， 得到干净 的图像特 征f′； 步骤4、 将f′输入学习好的特征增强模 块Fenhance， 对其进行信息增强， 得到增强后的 图像 特征f″； 步骤5、 将 f″输入学习好 的特征上采样模块Fsr进行图像超分辨操作得到对应的干净高 分辨率图像y。 6.基于域对抗 转换的盲图像超分辨系统， 其特 征在于， 包括： 域对抗模块： 步骤11： 利用真实退化数据r和合成退化数据x学习一个具有最优参数的退化图像的编权　利　要　求　书 2/4 页 3 CN 114626989 A 3