(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210396555.7 (22)申请日 2022.04.15 (71)申请人 陕西科技大 学 地址 710021 陕西省西安市未央区未央大 学园区 (72)发明人 张开生　关凯凯　 (74)专利代理 机构 西安弘理专利事务所 61214 专利代理师 涂秀清 (51)Int.Cl. G06T 7/00(2017.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于改进YOLOv5s的印刷电路板缺陷检测方 法 (57)摘要 本发明公开了基于改进YOLOv5s的印刷电路 板缺陷检测方法， 包 括： 建立YOL Ov5s算法的网络 结构， 在原有的三种检测尺度上再进行一次上采 样添加小目标检测尺度； 在网络模型末端用 Transformer模块来替代 CSP模块； 建立基于改进 YOLOv5s算法的PCB表面缺陷检测模型； 根据PCB 表面缺陷样本数据集， 对基于改进YOLOv5s算法 的PCB表面缺陷检测模型进行多尺度训练； 将待 检测PCB的图像输入预先训练好的基于改进 YOLOv5s算法的PCB表面缺陷检测模型， 输 出待检 测PCB表面缺陷的位置信息， 本发明在一定程度 上快速有效地检测出PCB缺陷， 具有一定的先进 性和实用性。 权利要求书2页 说明书6页 附图6页 CN 114820486 A 2022.07.29 CN 114820486 A 1.基于改进YOLOv5s的印刷电路板缺陷检测方法， 其特 征在于， 具体包括以下步骤： 步骤1： 获取PCB图像， 对PCB缺陷图像进行分类和标注； 步骤2： 对获取的PCB图像进行裁 剪、 数据增强； 步骤3： 针对YOLOv5s模型对小目标缺 陷检测效果差的问题进行改进， 基于YOLOv5s模型 建立适合PCB小目标缺陷图像 检测的PCBNet； 步骤4： 图像训练； 利用所构建的训练样本集和验证样本集， 对PCBNet进行训练并验证 模型性能； 步骤5： 图像测试； 使用改进后的PCBNet权重文件对测试集PCB图像进行检测， 分析检测 结果。 2.根据权利要求1所述的基于改进YOLOv5s的印刷电路板缺陷检测方法， 其特征在于， 所述步骤1具体包括： 1.1： 在PCB生产线配备高清线阵相机， 当PCB通过触发传感器， 启动成像设备后对PCB图 像进行拍摄， 获取高清线阵 图像， 对PCB缺陷图像剥离背景； 1.2： 在步骤1.1中对整理好的缺陷图像， 利用LalbelImg工具， 对数据集进行人工标注 并生成xml格式的标签文件。 3.根据权利要求1所述的基于改进YOLOv5s的印刷电路板缺陷检测方法， 其特征在于， 所述步骤2具体包括： 2.1： 在拍摄的图像当中挑选含有PCB缺陷的图像； 2.2： 将含有缺陷的PCB图像裁 剪成640×640的大小； 2.3： 对裁剪后的PCB图像采用改变亮度、 翻转、 随机裁剪、 位移和添加高斯噪声的方式 进行数据增强， 以9:1的比例把数据增强后的PCB数据集分为训练集和验证集。 4.根据权利要求1所述的基于改进YOLOv5s的印刷电路板缺陷检测方法， 其特征在于， 所述的步骤3具体包括： PCB缺陷实时检测模型PCBNet包括： 输入端、 骨干网络、 Transformer模块、 Neck、 Head； 其中， 骨干 网络为CSPDarknet53， 其包含了Focus、 CBL、 SPP、 BottleNeckCSP模块； Neck部分 采用了FPN+PAN的网络结构； 针对YOLOv5s模型对小目标缺陷检测效果差的问题进行改进， 建立适合PCB小目标缺陷 图像检测的改进型YOLOv5s模型； 增加一个感受野更小的检测头， 在640 ×640的输入图片 上， 通过4倍、 8倍、 16倍和32倍下采样得到160 ×160、 80×80、 40×40、 20×20大小的预测特 征层构建一个新的具有 四个检测尺度的网络结构； 将Tr ansformer模块放置在网络结构末 端来替换YOLOv5s网络结构末端的Bot tleneckCS P模块。 5.根据权利要求1所述的基于改进YOLOv5s的印刷电路板缺陷检测方法， 其特征在于， 所述的步骤4具体包括： 4.1： PCB缺陷图片从输入部分输入， 输入部分采用了Mosaic:数据增强、 自适应锚框计 算和图片尺 寸处理的预 处理方式； 骨干网络Focus模块将 输入进行复制与切片操作； 再经过 一个大小为3 ×3卷积核来改变网络的通道数； 通过Batch_Norm层， 将梯度集中在原点附近， 实现结果归一 化； 最后用LeakyRelu激活函数输入结果到下一层卷积Bot tleNeckCS P； BottleNeckCSP残差结构能优化梯度信息， 同时降低计算量， 首先输入会被分成两部 分， 一部分先进 行n次BottleNeck操作， 再进行卷积操作， 另一部分直接进行卷积操作， 然后权　利　要　求　书 1/2 页 2 CN 114820486 A 2两部分再经过Concat拼接后输出至空间金字塔池化S PP； 在空间金字塔池化SPP中， 先进行Conv提取特征输出， 再经过 四种不同尺度的最大池化 进行多尺度融合； 4.2： 最后在骨干网络末端特征图分别率较低的位置上经过Transformer模块， 首先输 入向量在计算之前通过增加一个线性层进行位置编码来减少在Reshape时引起的部 分位置 信息的丢失， query向量Q、 key向量K、 value 向量V都是输入向量I通过不同的线性变换得到 的， 表示如下公式(1)： 式中， 为第h个I到Q的线 性变换， 为第h个I到 K的线性变换， 为第h个I到V的线 性变换。 得到了三个关键向量之后， 再送入自注意机制当中， 每一个head都是特征和信息的 子空间， 表示如下公式(2)： 其中， dk是Qh和Kh点积的方差， 用于缓解softmax出现梯度消失的问题， headh表示第h个 自注意力的计算结果， 再经过多头注意力机制对由输入向量I得到多个自注意力的head进 行特征融合和线性变换， 表示如下公式(3)： MultiHead(Q,K,V)＝Co ncat(head1,head2,...,headh)Wout   (3)； 其中， Concat为特征融合操作， Wout是线性变换矩阵， 再经过多头注意力机制后的两次 线性变换， 就能获得 更关注于PCB缺陷本身的特 征图； 4.3： 将得到 的更关注于PCB缺陷的特征图送入到Neck部分， 将深层特征与浅层特征进 行拼接， 再传递到 Head； 4.4： Head部分以GIoU作为B ounding box的损失函数， 用于生成图像中预测的缺陷位置 和分类信息， 包 含着四种不同的检测尺度， 对应预测大、 中、 小、 微小目标物体； 4.5： 利用改进后的YOLOv5s模型对PCB缺陷图像进行训练， 采用官方YOLOv5s权重文件 对模型进行训练， 训练完成后得到新的权 重文件PCBNet.pt， 并分析其训练数据。 6.根据权利要求1所述的基于改进YOLOv5s的印刷电路板缺陷检测方法， 其特征在于， 所述的步骤5具体包括： 使用PCBNet.pt权重文件对测试集图片进行测试， 分析其检测效果， 包括损失函数、 平 均精度均值、 查 准率以及召回率。权　利　要　求　书 2/2 页 3 CN 114820486 A 3