(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210394103.5 (22)申请日 2022.04.14 (71)申请人 北京百度网讯科技有限公司 地址 100085 北京市海淀区上地十街10号 百度大厦2层 (72)发明人 袁苇航　 (74)专利代理 机构 北京品源专利代理有限公司 11332 专利代理师 蔡舒野 (51)Int.Cl. G06T 3/40(2006.01) G06V 10/82(2022.01) G06V 10/44(2022.01) G06V 10/80(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) G06K 9/62(2022.01) (54)发明名称 一种图像的超分辨率重建方法、 装置、 设备 以及存储介质 (57)摘要 本公开提供了一种图像的超分辨率重建方 法、 装置、 设备以及存储介质， 涉及人工智能技术 领域， 具体为深度学习、 图像处理以及计算机视 觉技术领域， 可应用于OCR等场景。 具体实现方案 为： 获取原始图像； 分别在通过卷积位置和卷积 精度中的至少一项上不同的图像特征提取网络 构建得到多个查找表中， 查找获取与所述原始图 像对应的图像特征； 对各所述图像特征进行特征 融合， 并根据特征融合结果， 生成与所述原始图 像匹配的超分辨率图像， 本公开实施例的技术方 案提供了一种基于改进查找表的超分图像处理 方案， 在减少查表法的搜索空间的同时， 提高对 复杂纹理图像的重建效果， 实现时效性和精确度 的折中。 权利要求书3页 说明书13页 附图4页 CN 114782249 A 2022.07.22 CN 114782249 A 1.一种图像的超分辨 率重建方法， 包括： 获取原始图像； 分别在多个查找 表中， 查找获取与所述原 始图像对应的图像特 征； 其中， 所述查找表使用预先训练的图像特征提取网络构建得到， 与不同查找表对应的 图像特征提取网络在卷积位置和卷积精度中的至少一项上不同； 对各所述图像特征进行特征融合， 并根据特征融合结果， 生成与所述原始图像匹配的 超分辨率图像。 2.根据权利要求1所述的方法， 其中， 分别在多个查找表中， 查找获取与所述原始图像 对应的图像特 征， 包括： 获取与当前查找 表对应的图像特 征提取网络的目标 卷积精度和目标 卷积位置； 响应于确定所述目标卷积精度满足像素值截短条件， 对所述原始图像中各像素点的像 素值进行与目标 卷积精度匹配的截短处 理； 根据所述目标卷积位置， 获取与所述原始图像中各像素点对应的参与卷积像素点集 合； 在当前查找 表中， 查找获取与各参与卷积像素点 集合对应的像素点特 征； 根据各所述像素点特 征， 形成所述原 始图像针对当前查找 表的图像特 征。 3.根据权利要求2所述的方法， 在根据 所述目标卷积位置， 获取与所述原始图像中的各 像素点对应的参与卷积像素点 集合之前， 还 包括： 根据所述目标 卷积位置， 确定与所述原 始图像对应的扩展尺度； 按照所述扩展尺度， 对所述原 始图像进行像素点 填充处理。 4.根据权利要求2所述的方法， 其中， 在当前查找表中， 查找获取与各参与卷积像素点 集合对应的像素点特 征， 包括： 获取当前参与卷积像素点 集合； 在所述原 始图像中， 读取 所述当前参与卷积像素点 集合中每个像素点的像素值； 在当前查找 表中， 查找获取与读取 出的各所述像素值对应的查表值， 作为像素点特 征。 5.根据权利要求1所述的方法， 其中， 在与多个查找表分别对应的各图像特征提取网络 中， 包括有卷积位置相同， 卷积精度互补的至少两个图像特 征提取网络； 其中， 所述卷积精度与所述图像特 征提取网络对输入图像的像素值处 理精度相匹配。 6.根据权利要求1所述的方法， 其中， 获取原 始图像， 包括： 获取待重建图像； 提取所述待重建图像中各像素点的亮度分量 值， 形成所述原 始图像。 7.根据权利要求1所述的方法， 其中， 对各所述图像特征进行特征融合， 并根据特征融 合结果， 生成与原 始图像匹配的超分辨 率图像， 包括： 对各所述图像特 征进行特征拼接， 得到拼接图像特 征； 对拼接图像特 征中包括的各 特征项进行融合处 理， 得到融合图像特 征； 根据所述融合图像特 征， 进行上采样处 理， 得到与原 始图像匹配的超分辨 率图像。 8.根据权利要求1所述的方法， 在 分别在多个查找表中， 查找获取与 所述原始图像对应 的图像特 征之前， 还 包括： 构建待训练的机器学习模型， 所述机器学习模型包括： 特征提取模块以及融合模块， 所权　利　要　求　书 1/3 页 2 CN 114782249 A 2述特征提取模块中包括多个所述特 征提取网络； 使用预先构建的训练样本集对所述机器学习 模型进行训练， 得到超分辨率图像重建模 型； 将测试样本集输入至所述机器学习 模型中， 根据每个特征提取网络针对各测试样本输 出的图像特 征， 构建与每 个特征提取网络分别对应的查找 表； 其中， 所述测试样本集中的各测试样本遍历全部 输入像素值组合。 9.根据权利要求8所述的方法， 其中， 所述特征提取网络 中包括： 第一卷积模块， 残差块 网络以及第二卷积网络； 其中， 不同特征提取网络的第 一卷积模块具有相同或者不同的卷积位置， 以及， 不同特 征提取网络的第一卷积模块具有相同或者互补的卷积精度。 10.一种图像的超分辨 率重建装置， 包括： 原始图像获取模块， 用于获取原 始图像； 图像特征获取模块， 用于分别在多个查找表中， 查找获取与所述原始图像对应的图像 特征； 其中， 所述查找表使用预先训练的图像特征提取网络构建得到， 与不同查找表对应的 图像特征提取网络在卷积位置和卷积精度中的至少一项上不同； 超分辨率图像生成模块， 用于对各所述图像特征进行特征融合， 并根据 特征融合结果， 生成与所述原 始图像匹配的超分辨 率图像。 11.根据权利要求10所述的装置， 其中， 图像特 征获取模块， 包括： 目标卷积精度和卷积位置获取单元， 用于获取与当前查找表对应的图像特征提取网络 的目标卷积精度和目标 卷积位置； 像素值截短处理单元， 用于响应于确定所述目标卷积精度满足像素值截短条件， 对所 述原始图像中各像素点的像素值进行与目标 卷积精度匹配的截短处 理； 像素点集合获取单元， 用于根据所述目标卷积位置， 获取与所述原始图像中各像素点 对应的参与卷积像素点 集合； 像素点特征获取单元， 用于在当前查找表中， 查找获取与各参与卷积像素点集合对应 的像素点特 征； 图像特征形成单元， 用于根据各所述像素点特征， 形成所述原始图像针对当前查找表 的图像特 征。 12.根据权利要求11所述的装置， 还包括， 像素点填充处理模块， 用于在根据所述目标 卷积位置， 获取与所述原 始图像中的各像素点对应的参与卷积像素点 集合之前： 根据所述目标 卷积位置， 确定与所述原 始图像对应的扩展尺度； 按照所述扩展尺度， 对所述原 始图像进行像素点 填充处理。 13.根据权利要求1 1所述的装置， 其中， 像素点特 征获取单元， 具体用于： 获取当前参与卷积像素点 集合； 在所述原 始图像中， 读取 所述当前参与卷积像素点 集合中每个像素点的像素值； 在当前查找 表中， 查找获取与读取 出的各所述像素值对应的查表值， 作为像素点特 征。 14.根据权利要求10所述的装置， 其中， 在与多个查找表分别对应的各图像特征提取网 络中， 包括有卷积位置相同， 卷积精度互补的至少两个图像特 征提取网络；权　利　要　求　书 2/3 页 3 CN 114782249 A 3