(19)中华 人民共和国 国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210132545.2 (22)申请日 2022.02.14 (65)同一申请的已公布的文献号 申请公布号 CN 114170230 A (43)申请公布日 2022.03.11 (73)专利权人 清华大学 地址 100084 北京市海淀区清华园 (72)发明人 黄必清　郝睿阳　 (74)专利代理 机构 北京清亦华知识产权代理事 务所(普通 合伙) 11201 代理人 黄德海 (51)Int.Cl. G06T 7/00(2017.01) G06V 10/44(2022.01) G06V 10/77(2022.01)G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (56)对比文件 CN 10834591 1 A,2018.07.31 CN 112529005 A,2021.0 3.19 CN 108108768 A,2018.0 6.01 CN 111210443 A,2020.0 5.29 US 2018075 594 A1,2018.0 3.15 审查员 田民丽 (54)发明名称 基于可变形卷积与特征融合的玻璃缺陷检 测方法与装置 (57)摘要 本申请涉及图像数据处理技术领域， 特别涉 及一种基于可变形卷积与特征融合的玻璃缺陷 检测方法与装置， 其中， 方法包括： 采集待检测玻 璃的表面图像； 将表面图像输入至预先训练的缺 陷识别模型， 确定待检测玻璃的实际缺陷， 其中， 预先训练的缺陷识别模型由含有可变形卷积的 卷积神经网络、 特征融合网络和检测器网络通过 近似联合训练得到； 基于实际缺陷生成待检测玻 璃的目标抓取动作， 按照目标抓取动作抓取待检 测玻璃。 由此， 解决了由缺陷形状多样化造成的 特征提取困难， 以及缺陷尺度多样化造成的单尺 度特征语义信息不足， 导致无法实现对玻璃缺陷 的高效准确检测等问题。 权利要求书2页 说明书10页 附图4页 CN 114170230 B 2022.04.29 CN 114170230 B 1.一种基于可变形 卷积与特 征融合的玻璃缺陷检测方法， 其特 征在于， 包括以下步骤： 采集待检测玻璃的表面图像； 将所述表面图像输入至预先训练的缺陷识别模型， 确定所述待检测玻璃的实 际缺陷， 其中， 所述预先训练的缺陷识别模型 由含有可变形卷积的卷积神经网络、 特征融合网络和 检测器网络通过近似联合训练得到； 以及 基于所述实际缺陷生成所述待检测玻璃的目标抓取动作， 按照所述目标抓取动作抓取 所述待检测玻璃； 所述将所述表面图像输入至预先训练 的缺陷识别模型， 确定所述待检测玻璃的实际缺 陷， 包括： 将所述表面图像输入至所述含有 可变形卷积的卷积神经网络， 提取多分辨率特征 图； 将所述多分辨率特征图输入至所述特征融合网络， 生 成平衡特征金字塔； 将所述平衡特 征金字塔输入至所述检测器网络， 检测所述待检测玻璃的缺陷位置和缺陷类别； 所述含有可变形卷积的卷积神经网络包括可变形卷积变换通路和自映射残差通路， 所 述将所述表面图像输入至所述含有可变形卷积的卷积神经网络， 提取多分辨率特征图， 包 括： 将所述表面图像输入至所述可变形卷积变换通路， 计算所述表面图像的空间采样位置 的偏移量， 并基于所述偏移量得到多尺度采样空间； 通过所述自映射残差通路对所述表面 图像进行梯度处理， 并在所述多尺度采样空间中从梯度处理后的表面图像中提取所述多分 辨率特征图； 所述特征融合网络包括横向通路、 自上而下通路与平衡特征通路， 所述将所述多分辨 率特征图输入至所述特征融合网络， 生成平衡特征金字塔， 包括： 通过所述横向通路对所述 多分辨率特征图进行特征降维处理， 生成降维特征图； 通过所述自上而下通路对所述降维 特征图进行上采样， 并将上采样后的特征图与对应分辨率的特征图相加得到合并特征图； 通过所述平衡特征通路将所有合并特征图缩放到统一分辨率， 并相加得到重整特征图， 从 所述重整 特征图中提取细化特征， 并将 基于所述细化特征恢复得到的特征图与所述合并特 征图相加， 得到所述平衡特 征金字塔； 所述检测器网络包括候选区域生成网络与候选区域检测网络， 所述将所述平衡特征金 字塔输入至所述检测器网络， 检测所述待检测玻璃的缺陷位置和缺陷类别， 包括： 将所述平 衡特征金字塔输入至所述候选区域生成网络， 提取多个局部特征， 并基于所述多个局部特 征生成候选区域； 将所述候选区域和所述平衡特征金字塔输入至所述候选区域检测网络， 依据所述候选区域的尺寸选择相应的所述平衡特征金字塔的特征图， 并将与所述候选区域 对应的特征图映射为目标分辨率的特征图， 基于所述目标分辨率的特征图对应的特征向量 确定所述 缺陷位置和所述 缺陷类别。 2.根据权利要求1所述的方法， 其特征在于， 所述预先训练 的缺陷识别模型由含有可变 形卷积的卷积神经网络、 特 征融合网络和检测器网络通过近似联合训练得到， 还 包括： 获取玻璃的历史图像数据集， 对所述历史图像数据集中的玻璃的缺陷类别与缺陷位置 进行标注， 得到缺陷图像数据集； 利用所述缺陷 图像数据集对所述卷积神经网络、 所述特征融合网络和所述检测器网络 进行近似联合训练， 得到所述 缺陷识别模型。 3.一种基于可变形 卷积与特 征融合的玻璃缺陷检测装置， 其特 征在于， 包括： 采集模块， 用于采集待检测玻璃的表面图像；权　利　要　求　书 1/2 页 2 CN 114170230 B 2检测模块， 用于将所述表面图像输入至预先训练的缺陷识别模型， 确定所述待检测玻 璃的实际缺陷， 其中， 所述预先训练的缺陷识别模 型由含有 可变形卷积的卷积神经网络、 特 征融合网络和检测器网络通过近似联合训练得到； 以及 抓取模块， 用于基于所述实 际缺陷生成所述待检测玻璃的目标抓取动作， 按照所述目 标抓取动作抓取 所述待检测玻璃； 所述检测模块进一步用于将所述表面图像输入至所述含有可变形卷积的卷积神经网 络， 提取多分辨率特征图； 将所述多分辨率特征图输入至所述特征融合网络， 生成平衡特征 金字塔； 将所述平衡特征金字塔输入至所述检测器网络， 检测所述待检测玻璃的缺陷位置 和缺陷类别； 所述含有可变形卷积的卷积神经网络包括可变形卷积变换通路和自映射残差通路， 所 述检测模块具体用于： 将所述表面图像输入至所述可变形卷积变换通路， 计算所述表面图 像的空间采样位置的偏移量， 并基于所述偏移量得到多尺度采样空间； 通过所述自映射残 差通路对所述表面图像进 行梯度处理， 并在所述多尺度采样空间中从梯度处理后的表面图 像中提取 所述多分辨 率特征图； 所述特征融合网络包括横向通路、 自上而下通路与平衡特征通路， 所述检测模块具体 用于： 通过所述横向通路对 所述多分辨率特征图进 行特征降维处理， 生成降维特征图； 通过 所述自上而下通路对所述降维特征图进行上采样， 并将上采样后的特征图与对应分辨率的 特征图相加得到合并特征图； 通过所述平衡特征通路将所有合并特征图缩放到统一分辨 率， 并相加得到重整 特征图， 从所述重整 特征图中提取细化特征， 并将 基于所述细化特征恢 复得到的特 征图与所述 合并特征图相加， 得到所述平衡特 征金字塔； 所述检测器网络包括候选区域生成网络与候选区域检测网络， 所述检测模块具体用 于： 将所述平衡特征金字塔输入至所述候选区域生成网络， 提取多个局部特征， 并基于所述 多个局部特征生成候选区域； 将所述候选区域和所述平衡特征金字塔输入至所述候选区域 检测网络， 依据所述候选区域的尺寸选择相应的所述平衡特征金字塔的特征图， 并将与所 述候选区域对应的特征图映射为目标分辨率的特征图， 基于所述目标分辨率的特征图对应 的特征向量确定所述 缺陷位置和所述 缺陷类别。 4.根据权利要求3所述的装置， 其特 征在于， 还 包括： 训练模块， 用于获取玻璃的历史图像数据集， 对所述历史图像数据集中的玻璃的缺陷 类别与缺陷位置进行标注， 得到缺陷图像数据集； 利用所述缺陷图像数据集对所述卷积神 经网络、 所述特 征融合网络和所述检测器网络进行近似联合训练， 得到所述 缺陷识别模型。权　利　要　求　书 2/2 页 3 CN 114170230 B 3