(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210499963.5 (22)申请日 2022.05.09 (71)申请人 浙江科技学院 地址 310013 浙江省杭州市西湖区留和路 318号 (72)发明人 许彩娥　吴明洋　干劲　王炳炎　 潘思顺　李俊　钟盛云　 (74)专利代理 机构 浙江传衡律师事务所 3 3387 专利代理师 叶卫强 (51)Int.Cl. G06T 7/00(2017.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/25(2022.01) G06V 10/764(2022.01)G06V 10/77(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 一种基于机器视觉的两阶段主板图像缺陷 检测及定位方法 (57)摘要 本发明公开了一种基于机器视觉的两阶段 主板图像缺陷检测及定位方法， 该方法的第一阶 段为目标识别网络， 将原始图像输入至特征提取 网络， 获取融合特征图； 构建RPN目标识别网络， 输入融合特征图获得目标识别候选区域图像。 第 二阶段为轻量化缺陷检测网络， 构建跨注意力机 制的轻量化特征提取模块嵌入至基于通道压缩 的生成对抗网络， 对上一阶段输出的所有图像进 行缺陷预测， 依照异常分数在原始图像中检测缺 陷及定位。 本发 明利用目标识别网络为缺陷检测 网络输入候选区域图像， 实现复杂检测场景下， 为缺陷检测网络去除大量无关特征； 结合有监督 学习与无监督学习， 无需关注缺陷特征类型， 并 解决正常样本与缺陷样本数量不均衡导致分类 效果不佳。 权利要求书4页 说明书12页 附图2页 CN 114972213 A 2022.08.30 CN 114972213 A 1.一种基于 机器视觉的两阶段主板图像缺陷检测及定位方法， 其特 征在于， 包括： (1)构建基于生成对抗网络的轻量 化缺陷检测网络； (2)构建基于目标识别 网络与轻量化缺陷检测网络的两阶段缺陷检测及定位方法， 包 括以下步骤： 步骤一： 引入原始主板 图像数据集， 在每个主板 图像中通过人工标注的方式得到多个 目标的标记框(即待 进行缺陷检测的局部区域)， 以此构建目标识别网络主板图像数据集； 步骤二： 获取步骤一所述的主板图像数据集， 并做预处理(包含图像等比缩放， 将灰度 值范围调整至 ‑1至1)； 步骤三： 构建目标识别网络， 将ResNet ‑152卷积神经网络作为特征提取网络， 将步骤二 中所述的样本图像依次输入至特 征提取网络中， 获得每张样本图像对应的融合特 征图； 将输出的融合特征图依次输入至RPN网络中， 获得每张样本图像所有的目标识别候选 区域图像； 步骤四： 构建轻量化缺陷检测网络的数据集， 获取步骤三中所有的目标识别候选区域 图像， 将数据集划分为训练集和测试集， 其中训练集中只包含正常图像， 测试集中包含正常 图像和异常图像， 利用目标识别算法制作目标识别候选区域图像集， 有效实现复杂检测场 景下， 为缺陷检测网络去除大量无关特 征； 步骤五： 构建基于生成对抗网络的轻量化缺陷检测网络， 基于生成对抗网络， 使用 Skip‑GANomaly作为骨干网络， 其中生成网络由编码器及解码器构成； 在生成网络 中， 将其中除注意力 机制模块内的标准二维卷积全部替换为深度 可分离卷 积， ReLU激活函数替换为ReLU6激活函数， 构建轻量化特征提取模块替换由标准二维卷积、 LeakyReLU激活函数、 批量归一化组成的卷积处理单元； 相较于骨干网络， 减少每个特征提 取模块输出的特 征图通道数量， 有效降低生成网络的计算复杂度与参数 数量； 在编码器中， 构建跨注意力机制的轻量化特征提取模块替换轻量化特征提取模块， 输 出注意力特征图， 增强对特征图的提取能力， 使模 型更关注任务所感兴趣的区域； 利用跳跃 连接， 将输出的注意力特 征图输入至解码器中对应的特 征提取模块； 在解码器中， 构建由双线性插值与轻量化特征提取模块组成的上采样特征提取模块， 实现对特 征图的重构； 步骤六： 将DCGAN的判别网络作为缺陷检测网络的判别网络， 使用由LeakyReLU激活函 数层、 卷积层、 批量归一化层组成的卷积处理单元进行下采样， 实现图像向潜在空间的映 射， 并通过Sigmo id函数将结果进行分类； 步骤七： 在训练阶段， 分别训练不同阶段的两个网络： (7.1)将步骤一中所述主板图像数据集的训练集图像依次输入至步骤二及步骤三的目 标识别网络中， 由特征提取网络获得融合特征图， 将融合特征图输入至RPN网络中； 在RPN网 络， 将一个二进制分类标签分配给每个锚点； 如果一个锚框跟所有真值框之一的IoU值大于 设定阈值， 则为正样本； 如果一个锚框跟所有真值框的IoU值小于 设定阈值， 则为负样本； 其 余锚框不用于最终训练， 将真值框与回归输出的候选框的位置作比较； 使用损失函数l ({pi}， {ti})训练RPN网络： 权　利　要　求　书 1/4 页 2 CN 114972213 A 2其中， mini ‑batch是由图像中最终选取的所有等比例正负样本组成， i代表一个mini ‑ batch中第i个锚点， Ncls代表mini ‑batch的大小， Nreg代表锚点的数量， pi代表第i个锚点对 应的锚框是目标的概率； 代表正样 本， 代表负样本； ti代表第i个候选框的边界 回归参数， 代表第i个真值框对应的边界回归参数； 代表二分类损失函数； 代边界回归损失函数； 代表对正样本进行回归操作； 分类损失函数 表示为： 边界回归损失函数 表示为： (7.2)将步骤四中所述数据集的训练集图像输入至步骤五的生成网络中， 获得重构图 像， 将重构图像与真实图像同时输入至步骤七的判别网络中， 将重构损失函数lcon、 潜在损 失函数llat、 对抗损失函数ladv以加权组合形式构 建总损失ltotal， 用以训练生成网络与判别 网络， 公式如下 所示： ltotal＝ωadvladv+ωconlcon+ωlatllat 重构损失函数lcon表示为： 潜在损失函数llat表示为： 对抗损失函数ladv表示为： 其中， ωadv、 ωcon、 ωlat为各损失函数的权重参数； x代表原始图像， 代表重构图像， D代 表判别网络， Ex～p(x)代表原始图像取样于原 始数据分布p(x)； 其中， 重构损失函数lcon用以计算生成网络中x与 的差异， 在像素层级中x与 的差距， 保证生成网络的重构能力； 潜在损失函数llat用以减小x与 在判别网络最后一卷积层提取 的潜在向量的差距； 对抗损失函数ladv用以平衡生 成网络与判别网络， 即最大化生成网络生 成重构图像的能力， 最小化判别网络鉴别真实图像和重构图像的能力； 步骤八： 在测试阶段， 将步骤一中所述主板 图像数据集的测试集图像依次输入至步骤 二及步骤三的目标识别网络中， 获得每一张样本图像所有的目标识别候选区域图像， 将所 有的目标识别候选区域图像输入至步骤五的轻量化缺陷检测网络中， 并获得每一张目标识 别候选区域图像的异常分数， 依照每一张图像的异常分数数值大小并判断， 在原图中标注 检测为缺陷的图像位置， 从而实现图像的缺陷检测及缺陷定位。 2.根据权利要求1所述的基于机器视觉的两阶段主板 图像缺陷检测及定位方法， 其特 征在于构建基于注意力机制的轻量化特征提取模块及基于通道压缩的生成网络， 所述步骤 五通过以下子步骤来实现：权　利　要　求　书 2/4 页 3 CN 114972213 A 3