(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210632336.4 (22)申请日 2022.06.07 (71)申请人 华南理工大 学 地址 510640 广东省广州市天河区五山路 381号 (72)发明人 谢巍　陈健锐　余孝源　 (74)专利代理 机构 广州市华学知识产权代理有 限公司 4 4245 专利代理师 戴晓琴 (51)Int.Cl. G06T 7/00(2017.01) G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于正常样本辅助特征提取的注塑件瑕疵 检测方法、 装置及 介质 (57)摘要 本发明公开了一种基于正常样本辅助特征 提取的注塑件瑕疵检测方法、 装置、 计算机设备 和存储介质， 该方法包括： 获取训练数据集， 构建 网络模型； 利用网络模型对训练数据集中有瑕疵 图像和无瑕疵图像进行特征提取， 得到瑕疵样本 特征和正常样本特征； 进而对两者进行特征融 合， 得到不同尺度的融合特征图； 然后对融合特 征图进行处理， 生成瑕疵候选框； 最后对瑕疵候 选框进行瑕疵特征识别， 得到预测结果； 根据预 测结果和训练数据集中人工标注的瑕疵信息， 训 练网络模型； 将待测的注塑件图像输入训练好的 网络模型， 完成瑕疵的检测与分类。 本发明能够 提取注塑件图像中精确的瑕疵区域特征， 获得准 确的瑕疵类型识别与目标位置， 为注塑机制备工 艺提供指导 性意见。 权利要求书3页 说明书12页 附图5页 CN 115082386 A 2022.09.20 CN 115082386 A 1.一种基于正常样本辅助特征提取的注塑件瑕疵检测方法， 其特征在于， 所述方法包 括： 获取训练数据集， 所述训练数据集包括 正常样本数据集和瑕疵样本数据集； 构建网络模型， 所述网络模型包括瑕疵样本特征提取子网络、 正常样本特征提取子网 络、 特征金字塔子网络、 区域生成子网络和瑕疵分类子网络； 其中， 利用所述瑕疵样本特征 提取子网络对所述瑕疵样本数据集中的有瑕疵图像进行特征提取， 得到瑕疵样本特征； 利 用所述正常样本特征提取子网络对所述正常样本数据集中的无瑕疵图像进 行特征提取， 得 到正常样本特征； 利用所述特征金字塔子网络对所述瑕疵样本特征与所述正常样本特征进 行特征融合， 得到多张不同尺度的融合特征图； 利用所述区域生成子网络对所述融合特征 图进行处理， 生成瑕疵目标候选框集合； 利用所述瑕疵分类子网络对所述瑕疵目标候选框 集合中的瑕疵特 征进行识别， 得到所述网络模型的预测结果； 根据所述预测结果和所述瑕疵样本数据集中的人工标注的瑕疵信 息， 优化所述网络模 型的损失函数， 得到训练好的网络模型； 将待测的注塑件图像输入所述训练好的网络模型， 完成瑕疵的检测与分类。 2.根据权利要求1所述的注塑件瑕疵检测方法， 其特征在于， 所述瑕疵样本特征包括 四 个不同尺寸的特征图， 分别为所述瑕疵样本特征提取子网络中第二个特征提取层到第五个 特征提取层输出的特 征图； 所述正常样本特征包括所述正常样本特征提取子网络中第四个特征提取层与第五个 特征提取层输出的特 征图f4′、 f5′； 所述利用所述特征金字塔子网络对所述瑕疵样本特征与所述正常样本特征进行特征 融合， 得到多张不同尺度的融合特 征图， 包括： 将所述瑕疵样本特征提取子网络中第四、 五个特征提取层输出的特征图f4、 f5， 分别与 所述特征图f4′、 f5′按元素相减， 得到 差异特征图f4″、 f5″； 将所述瑕疵特征提取子网络中第二、 三特征提取层输出的特征图f2、 f3与所述差异 特征 f4″、 f5″输入所述特征金字塔子网络， 所述特征金字塔子网络对f2、 f3、 f4″、 f5″进行特征融 合， 输出多张不同尺度的特征图， 作为融合特征图； 其中， 所述特征金字塔子网络包括多个 上采样操作层。 3.根据权利要求1所述的注塑件瑕疵检测方法， 其特征在于， 所述 区域生成子网络包括 预处理层、 先验框二分类层以及先验框位置调整层； 所述利用所述区域生成子网络对所述融合特征图进行处理， 生成瑕疵目标候选框集 合， 包括： 将所述融合特征图依次输入所述预处理层， 所述预处理层根据 所述融合特征图的尺寸 相应地生成不同尺 寸的先验框， 用于粗略检测瑕疵目标的位置； 其中， 所述融合特征图包括 多张特征图； 将所述先验框 输入所述先验框二分类层， 生成先验框的置信度； 将所述先验框 输入所述先验框位置调整层， 生成先验框的偏移量； 根据所述置信度， 挑选出置信度较高的先验框； 根据所述偏移量对置信度较高的先验 框进行位置偏差调整， 输出瑕疵目标候选 框集合。 4.根据权利要求3所述的注塑件瑕疵检测方法， 其特征在于， 所述瑕疵分类子网络包括权　利　要　求　书 1/3 页 2 CN 115082386 A 2瑕疵特征处理模块、 瑕疵分类模块和候选 框调整模块； 所述利用所述瑕疵分类子网络对所述瑕疵目标候选框集合中的瑕疵特征进行识别， 得 到所述网络模型的预测结果， 包括： 将所述瑕疵目标候选框集合中任一瑕疵目标候选框对应到所述特征金字塔子网络输 出的融合特征图上， 将对应的融合特征图和所述瑕疵目标候选框经过ROI  Pooling操作后， 得到瑕疵特征图； 将所述瑕疵特 征图输入所述瑕疵特 征处理模块； 将所述瑕疵特征处理模块的输出特征输入所述瑕疵分类模块， 用于对所述瑕疵目标候 选框进行分类， 得到 瑕疵的类别； 将所述瑕疵特征处理模块的输出特征输入所述候选框调整模块， 生成瑕疵目标候选框 的偏移量， 用于对所述瑕疵目标候选 框的位置进行调整， 得到优化后的瑕疵位置 。 5.根据权利要求4所述的注塑件瑕疵检测方法， 其特征在于， 所述根据 所述预测结果和 所述瑕疵样本数据集中的人工标注的瑕疵信息， 优化所述网络模型 的损失函数， 得到训练 好的网络模型， 包括： 利用所述正常样本训练集与瑕疵样本训练集对所述正常样本特征提取子网络进行训 练， 得到训练好的正常样本特征提取子网络； 其中， 损失函数为交叉熵损失函数， 所述正常 样本特征提取子网络包括分类层； 将所述训练好的正常样本特征提取子网络导入至所述网络模型中， 利用所述正常样本 训练集与瑕疵样本训练集对所述网络模型进行训练， 根据所述预测结果和所述瑕疵信息， 通过优化所述区域生成子网络的损失函数和所述瑕疵分类子网络的损失函数， 从而实现网 络模型的收敛， 得到训练好的网络模型。 6.根据权利要求5所述的注塑件瑕疵检测方法， 其特征在于， 所述预测结果包括瑕疵的 类别和位置； 所述区域 生成子网络的损失函数为： 其中， pi为先验框i的置信度， 为先验框i的标签， 其值为1或0， 是通过计算先验框i与 所述瑕疵信息中的瑕疵位置的交并比得出； 若 为1， 则ti为先验框i的偏移量， 为先验框 i与所述瑕疵信息中的瑕疵位置的偏移量； Nrpn_cls为先验框中被标记为1和0的先验框的总 数， Nrpn_reg为先验框中被标记为1的先验框的总数， λ为权重参量； 分类损失Lrpn_cls使用交叉 熵损失函数， 回归损失Lrpn_reg使用Smooth L1 Loss， 即： 所述瑕疵分类子网络的损失函数为： 其中， pk为网络预测的瑕疵目标候选框k的类别， 为该瑕疵目标候选框对应的瑕疵类权　利　要　求　书 2/3 页 3 CN 115082386 A 3