(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210350860.2 (22)申请日 2022.04.02 (66)本国优先权数据 202111553385.0 2021.12.17 CN (71)申请人 上海大学 地址 200444 上海市宝山区上 大路99号 (72)发明人 李恒宇　李珅　杨小康　刘靖逸　 谢少荣　罗均　 (74)专利代理 机构 郑州翊博专利代理事务所 (普通合伙) 41155 专利代理师 周玉青 (51)Int.Cl. G06T 5/50(2006.01) G06T 5/00(2006.01) G06T 3/60(2006.01)G06V 10/44(2022.01) G06V 10/80(2022.01) G06V 10/764(2022.01) G06V 10/74(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于多尺度特征对齐及精化网络的双 目图像修复 网络模型的训练方法 (57)摘要 本发明属于图像修复处理技术领域， 公开了 一种基于多尺度特征对齐及精化网络的双目图 像修复网络模型的训练方法， 步骤为： 获取样本 图像集， 样本图像集中包括多对双目图像， 每对 双目图像包括一个左视角图像和一个右视角图 像， 左视角图像或右视角图像为损坏图像， 保留 损坏图像的原始未损坏图像作为该损坏图像的 真值， 将样 本图像集按比例随机划分为训练集和 测试集； 采用训练集对预先构建的双目图像修复 网络模型进行训练， 更新双目图像修复网络模 型， 得到训练后的双目图像修复网络模型； 采用 测试集对训练后双目图像修复网络模型进行测 试， 从中选出最优双目图像修复网络模型。 本发 明的模型能够高效修复出高精度的图像， 使修复 图像更加真实、 自然。 权利要求书3页 说明书9页 附图4页 CN 114677314 A 2022.06.28 CN 114677314 A 1.一种基于多尺度特征对齐及精化网络的双目图像修复网络模型的训练方法， 其特征 在于， 包括如下步骤： （1） 获取样本图像集， 将样本图像集按比例随机划分为训练集和测试集； 所述样本图像 集中包括多对双目图像， 每对双目图像包括一个左视角图像和一个右视角图像， 一对双目 图像中的左视角图像和右视角图像对应同一个场景， 采集时间相同； 而且， 一对双目 图像中 的左视角图像或右视角图像为完好图像， 另一视角图像为损坏图像， 每张损坏图像都保留 其原始未损坏图像作为该损坏图像的真值； （2） 采用训练集对预先构建的双目图像修复网络模型进行训练， 更新双目图像修复网 络模型， 得到训练后的双目 图像修复网络模型； 其中， 所述双目图像修复网络模 型包括特征 提取模块、 多尺度特征对齐及动态融合模块、 特征精化模块； 所述特征提取模块用于对输入 的一对双目图像进行特征提取， 特征提取模块的输入为一对双目图像， 输出为一对双目图 像特征图， 双目图像特征图包括左视角特征图和右视角特征图； 所述多尺度特征对齐及动 态融合模块用于对特征提取模块输出的一对双目图像特征图进行特征对齐及特征融合处 理， 得到最终融合特征图并输出； 所述精化模块用于对多尺度特征对齐及动态融合模块输 出的最终融合特 征图进行精化处 理， 得到最终的修复图像并输出； （3） 采用测试集对步骤 （2） 得到的训练后的双目图像修复网络模型进行测试， 从训练后 的双目图像修复 网络模型中选出最优双目图像修复 网络模型。 2.根据权利要求1所述的双目图像修复网络模型的训练方法， 其特征在于， 所述多尺度 特征对齐及动态融合模块用于对特征提取模块输出的一对双目图像特征图进行特征对齐 及特征融合处理， 得到融合特征图并输出； 所述多尺度特征对齐及动态融合模块的处理包 含三个阶段， 第一阶段包含1个特征对齐模块、 1个动态融合模块， 特征对齐模块用于将特征 提取模块输出的一对分辨率大小相同的双目图像特征图进 行特征对齐处理， 得到第一对对 齐双目图像特征图， 动态融合模块用于将第一对对齐双目图像特征图进行特征融合处理， 得到第一融合特征图； 第二阶段包含1个上采样模块、 1个嵌入层、 1个特征对齐模块、 1个动 态融合模块， 上采样模块对第一融合特征图进行上采样处理， 使经上采样处理的第一融合 特征图的分辨率与第二完好图像特征图的分辨率相同， 嵌入层用于改善第二完好图像特征 图的感受野， 特征对齐模块用于将经嵌入层处理过的第二完好图像特征图与经上采样模块 处理过的第一融合特征图进行对齐处理， 得到第二对对齐双目图像特征图， 动态融合模块 用于将第二对对齐双目图像特征图进行特征融合处理， 得到第二融合特征图； 第三 阶段包 含1个上采样模块、 1个嵌入层、 1个特征对齐模块、 1个动态融合模块， 上采样模块对第二融 合特征图进行上采样处理， 使 经上采样处理的第二融合特征图的分辨率与第三完好图像特 征图的分辨率相同， 嵌入层用于改善第三完好图像特征图的感受野， 特征对齐模块用于将 经嵌入层处理过 的第三完好图像特征图与经上采样模块处理过 的第二融合特征图进行对 齐处理， 得到第三对对齐双目图像特征图， 动态融合模块用于将第三对对齐双目图像特征 图进行特征融合处理， 得到最终融合特征图； 所述特征提取模块还将输出 的一对双目图像 特征图进 行缩放处理， 得到缩放后的3张分辨率不同的完好图像特征图和1张损坏图像特征 图， 所述缩放后损坏图像特征图与缩放后最小分辨率的完好图像特征图的分辨率大小相 同； 其中， 多尺度特征对齐及动态融合模块进行特征对齐及特征融合的三个阶段中， 特征对 齐模块的结构都相同且参数不共享， 动态融合模块的结构都相同。权　利　要　求　书 1/3 页 2 CN 114677314 A 23.根据权利要求2所述的双目图像修复网络模型的训练方法， 其特征在于， 所述特征对 齐模块由2个可变形卷积模块组成， 其中， 一个可变形卷积模块对双目图像中完好图像特征 图进行变形处理， 另一个可变形卷积模块对双目 图像中损坏图像特征图进 行变形处理， 使2 个可变形卷积模块分别输出 的变形的右视角特征图与变形 的左视角特征图对齐； 2个可变 形卷积模块均由1个卷积层、 1个可变形卷积层、 1个LeakyReLU激活函数层和1个跳连接机构 组成； 所述特征对齐模块进行特征对齐的具体步骤为： 输入特征对齐模块的一对双目图像 特征图先沿通道维度连接， 然后将连接过的左右视角特征图通过 处理双目 图像中完好图像 特征图的可变形卷积模块中的卷积核加 权， 并结合LeakyReLU激活函数产生完好图像特征 图的偏移量； 将完好图像特征图的偏移 量通过处理双目图像中完好图像特征图的可变形卷 积模块中的可变形卷积层对完好图像特征图进行变形， 得到变形 的完好图像特征图； 将变 形的完好图像特征图通过处理双目图像中损坏图像特征图的可变形卷积模块中的卷积核 加权， 并结合LeakyReLU激活函数产生双目 图像中损坏图像特征图的偏移量； 将损坏图像特 征图的偏移量通过处理双目图像中损坏图像特征图的可变形卷积模块中的可变形卷积层 对损坏图像特 征图进行变形， 得到变形的损坏图像特 征图。 4.根据权利要求3所述的双目图像修复网络模型的训练方法， 其特征在于， 所述动态融 合模块包括第一支路和第二支路， 第一支路包含1个卷积层， 第二支路包含1个 sigmoid激活 函数层； 第一支路用于将输入的一对经特征对齐模块输出的对齐的双目图像特征图沿通道 维度连接， 连接后经过1个卷积层进行处理， 得到初步融合的左右视角特征图； 第二支路用 于将输入的同一对经特征对齐模块输出的对齐的双目 图像特征图以元素的方式相乘， 相乘 后经过1个sigmoid激活函数层将特征图映射到 （0,1） 进行处理， 得到左右视角相似度图； 最 后将第一支路得到的初步融合的左右视角特征图与第二支路得到的左右视角相似度图以 元素相乘的方式进行处 理， 得到融合特 征图。 5.根据权利要求3所述的双目图像修复网络模型的训练方法， 其特征在于， 所述特征精 化模块用于对多尺度特征对齐及动态融合模块输出的最 终融合特征图进 行精化处理， 得到 最终的修复图像并输出； 所述特征精 化模块包括2个交叉连接的残差结构； 特征精化模块对 最终融合特征图的处理过程为： 输入特征精化模块的最终融合特征图通过1个标准卷积层 和1个膨胀卷积层进 行卷积处理， 得到第一主干卷积特征图； 最 终融合特征图通过第一分支 卷积层进行卷积处理， 得到第一分支卷积特征图； 将第一主干卷积特征图与第一分支卷积 特征图进 行元素相加后得到第一卷积特征图； 将第一主干卷积特征图经第二分支卷积层进 行卷积处理， 得到第二分支卷积特征图； 第一卷积特征图通过1个膨胀卷积层进行卷积处 理， 得到第二主干卷积特征图； 将第二分支卷积特征图与第二主干卷积特征图进行元素相 加后输入1个卷积层进行 卷积处理， 得到最终的修复图像。 6.一种基于多尺度特征对齐及精化网络的双目图像修复方法， 其特征在于， 所述方法 为将待修复的一对双目图像输入双目 图像修复网络模型进行修复， 得到修复图像； 其中， 待 修复的双目图像包括一个左视角图像和一个右视角图像， 左视角图像和右视角图像对应同 一个场景， 采集时间