(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210363820.1 (22)申请日 2022.04.08 (71)申请人 成都上富智感科技有限公司 地址 611230 四川省成 都市中国(四川)自 由贸易试验区成都市天府新区兴隆街 道湖畔路北段715号1号楼3 01室 (72)发明人 何十全　王旭博　王小保　 (74)专利代理 机构 北京奥肯律师事务所 1 1881 专利代理师 王娜 (51)Int.Cl. G06T 7/00(2017.01) G06N 3/04(2006.01) G06N 20/00(2019.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06V 10/52(2022.01) G06K 9/62(2022.01) (54)发明名称 一种面向智能制造精微结构表面缺陷的视 觉检测方法 (57)摘要 本发明公开了一种面向智能制造精微结构 表面缺陷的视觉检测方法， 所述视觉检测方法基 于深度学习和机器学习的融合， 所述视觉检测方 法包括下述步骤： S1.制作工件表面缺陷训练图 像集； S2.搭建基于YOL Ov3的深度学习网络模型； S3.设置模型训练参数， 完成深度学习缺陷检测 模型的训练； S4.将深度学习训练模型的输出图 像传送到后一级的机器学习环节， 对中间输出图 像进行更进一步的特征提取； S5.基于已训练的 深度学习和机器学习融合缺陷检测模 型， 对工件 表面缺陷进行检测。 本发明能够自动化、 高效率 的对工件表 面进行缺陷检测， 从而实现工件表面 缺陷的自动识别以及缺陷检测结果的量化处理， 当检测物表 面不规则或者场景复杂度上升后， 能 够很好兼顾检测效果和检测效率。 权利要求书2页 说明书4页 附图2页 CN 114820471 A 2022.07.29 CN 114820471 A 1.一种面向智能制造精微结构表面缺陷的视觉检测方法， 其特征在于： 所述视觉检测 方法基于深度学习和机器学习的融合， 所述视 觉检测方法包括下述 步骤： S1.制作工件表面 缺陷训练图像集； 在同一场景下对不同空间位姿下的工件表面进行缺陷图像采集， 采集样本图像数量为 N幅； 通过图像增强技术完成表面缺陷图像的手动标注， 记录缺陷图像集为Image， 记录缺陷 标注图像集 合对应为 Image_Label； 制作要求如下， 在工件表面缺陷图像集制作中， 要求表面缺陷面积截取图像的1/3， 否 则不被视为 缺陷图像， 在一幅缺陷图像中， 缺陷数据要远少于背景 数据； 为提高工件表面缺陷检测效果， 引入图像数据增强技术， 其包括图像翻转变换、 随机修 剪、 色彩抖动、 平移变换、 尺度变换、 对比度变换、 噪声扰动以及旋转变换/ 反射变换， 经过工 件表面缺陷图像增强处 理后， 图像中缺陷与背景 数据的比值接 近1:1； S2.搭建基于 YOLOv3的深度学习网络模型； 以图像分类深度卷积神经网络为基础， 对缺陷图像中的每一个像素做出分类， 即在像 素级别上对图像进行理解； 缺陷检测模型网络包 含三个主 要组成部分： 卷积层、 降采样层和上采样层； 工件表面缺陷图像输入格式为[m,n,3]， 经过模型卷积层、 池化层后图像压缩表示为 [w,h,d]的特征向量， 其中w为特征向量的跨度， h为特征向量的高度， d为特征向量的深度， 相对于原始图像输入数据， 该压缩向量对应空间维度较低但是更为紧致， 将此压缩向量输 入到模型上采样层， 重建与模型输入层维度相同的输出向量， 即输入图像对应的缺陷类别 标签图像； S3.设置模型训练参数， 完成深度学习缺陷检测模型的训练， 其中， 模型训练参数包括： 缺陷类别对应权 重比值、 最大训练迭代次数等； S4.将深度学习训练模型的输出图像传送到后一级的机器学习环节， 该环节处理SIFT、 ORB以及直方图在内的多种传统机器学习处理方案， 对中间输出图像进行更进一步的特征 提取； 深度学习环节主要提取缺陷图像中的大尺度特征， 机器学习环节主要提取小尺度特 征， 通过深度学习和机器学习的融合， 实现 “大小颗粒 ”特征的全面提取， 提高缺陷模型的识 别率； 机器学习环 节具体操作流 程如下： 首先， 将深度学习处理过的缺陷图像经过SIFT算子处理， SIFT是一种检测局部特征的 算法， 该算法通过求待检测缺陷 图中的特征点(interest  points， corner  points)及其有 关尺度和方向的描述子得到特征并进 行图像特征点匹配， 进一步提取到深度学习环节不能 提取到的小尺度特征， 需要补充的是， SIFT特征不只具有尺度不变性， 即使改变旋转角度， 图像亮度或拍摄视角， 仍然能够得到好的检测效果； 其次， 当工业环境中的待检测缺陷工件视角变换不大且对速度和 空间有要求时， 使用 ORB算子替代SIFT算子； ORB是一种类似于SIFT的提取方法， 相比于SIFT计算速度更快， 计算 时间大概为SIFT的1％， 由于ORB使用了FAST来加速特征点的提取， 另外， 还使用了B RIEF算 法计算描述子， 该描述子特有的二进制串的表现形式不仅节约存储空间， 而且大大缩短匹权　利　要　求　书 1/2 页 2 CN 114820471 A 2配的时间， 但是ORB相比于SIFT， 在尺度变换能力较弱； 最后， 采用直方图算法作用在SIFT或ORB算法， 用以进一步优化缺陷图片， 其基本思想 是： 先将连续的浮点特征值离散化成x个整 数， 同时构 造一个宽度为x的直方图， 即将浮点数 的范围均分成若干整数区间， 在遍历数据的时候， 根据离散化后的值作为索引 在直方图中 累积统计量， 当遍历一次数据后， 直方图累积了需要的统计量， 然后根据直方图的离散值， 遍历寻找最优的分割点， 通过使用直方图进一步处理， 加强了检测模 型的鲁棒性、 以及 模型 稳定性； S5.基于已训练的深度学习和机器学习融合缺陷检测模型， 对工件表面缺陷进行检测， 过程如下， 将上一步骤中， 已训练好的缺陷检测融合模型进 行固化， 对应模型输入为缺陷图 像， 输出为 缺陷图像标签。权　利　要　求　书 2/2 页 3 CN 114820471 A 3