(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210355592.3 (22)申请日 2022.04.06 (71)申请人 重庆大学 地址 400044 重庆市沙坪坝区沙正 街174号 (72)发明人 牛晓博　何彦　郝传鹏　康玲　 刘雪晖　 (74)专利代理 机构 重庆航图知识产权代理事务 所(普通合伙) 50247 专利代理师 孙方 (51)Int.Cl. G06T 7/00(2017.01) G06V 10/40(2022.01) G06V 10/84(2022.01) G06V 10/82(2022.01) G06V 10/80(2022.01)G06V 10/764(2022.01) G06T 3/00(2006.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于Faster R-CNN的大型复杂结构件表面 多尺寸多类别缺陷智能检测方法及系统 (57)摘要 本发明公开一种基于Faster  R‑CNN的大型 复杂结构件表面多尺寸多类别缺陷智能检测方 法， 通过无人机采用大型复杂结构 件表面缺陷区 域图像； 然后进行图像标注增强处理， 提取特征 及特征融合， 对缺陷位置粗定位和分类； 最后通 过分类和回归网络进行缺陷的分类以及位置的 精调， 最终得到大型复杂结构 件表面缺陷类别和 位置。 本方法解决了目前针对大型构件的多类多 尺寸的表面缺陷不能进行准确分类和定位的问 题， 采用自适应的缺陷检测定位框和特征金字塔 策略， 相对于传统的缺陷检测方式， 该方法具有 识别准确度高和定位精确的特点， 同时针对小缺 陷改进了更适合样本缺陷的锚选框， 为大型构 件 缺陷严重程度的评估提供了快速、 准确、 有效的 检测方法。 权利要求书3页 说明书10页 附图3页 CN 114693657 A 2022.07.01 CN 114693657 A 1.基于Faster  R‑CNN的大型复杂结构件表面多尺寸多类别缺 陷智能检测方法， 其特征 在于： 包括以下步骤： (1)获取大型复杂结构件表面 缺陷区域的图像数据； (2)标注采集到的图像中的缺陷的位置和类别 信息， 生成用于模型训练的标注文件； (3)将采集到的图像数据进行图像变换处理， 根据图像变换处理生成包含标签信息文 件； (4)基于Resnet提取图像的特 征图形成不同的特 征层； (5)将不同的特征层进行特征融合， 在图像的特征空间中构造金字塔， 利用低层特征和 高层特征分别在不同的特 征层上进行 预测； (6)根据提取的特 征得到缺陷位置对缺陷进行粗定位； (7)根据缺陷位置将提取的缺陷输入到分类和回归 网络进行缺陷的分类以及位置的精 调， 最终得到大 型复杂结构件表面 缺陷类别和位置 。 2.如权利 要求1所述的基于Faster  R‑CNN的大型复杂结构件表面多尺寸多类别缺 陷智 能检测方法， 其特征在于： 所述缺陷位置通过标注边界框的左上点和右下点像素坐标进行 表征， 所述 缺陷类别和位置信息保存在.xml文件中。 3.如权利 要求1所述的基于Faster  R‑CNN的大型复杂结构件表面多尺寸多类别缺 陷智 能检测方法， 其特征在于： 所述图像变换处理是对原图像进 行增强扩充处理， 所述增强扩充 处理包括采用仿射变化、 运动模糊、 光照变换中任一种或多种组合的方式。 4.如权利 要求1所述的基于Faster  R‑CNN的大型复杂结构件表面多尺寸多类别缺 陷智 能检测方法， 其特 征在于： 所述基于Resnet提取图像的特 征的具体步骤如下： 用ResNet ‑50网络先对大型复杂结构件图像进行特征提取， 得到多个阶段输出的第一 特征图， 根据大型复杂结构件图像确定对应的分辨率； 确定特征提取网络的卷积核， 根据卷 积核进行下采样操作， 并以全局平均池化层为全连接层， 在为每两个全连接层增加残差边， 形成残差结构。 5.如权利 要求1所述的基于Faster  R‑CNN的大型复杂结构件表面多尺寸多类别缺 陷智 能检测方法， 其特 征在于： 所述特 征融合的具体步骤如下： 将特征图分别输入特征金字塔网络FPN， 通过上采样反卷积操作将较深层的特征图放 大到和较浅层的特 征图一样的尺寸； 将自底向上生成的特 征图通过 卷积运算降低通道数； 通过横向连接将上采样反卷积操作的结果和卷积运算后具有相同通道数的特征图进 行逐元素相加， 实现低级特 征和高级语义特 征的融合。 6.如权利 要求1所述的基于Faster  R‑CNN的大型复杂结构件表面多尺寸多类别缺 陷智 能检测方法， 其特 征在于： 所述 缺陷粗定位的具体步骤如下： 锚框生成： 在特征图上生成锚点， 并映射到原图的对应位置， 然后以原图上的锚点为中 心， 在原图像中生成不同的长 宽比和尺度的锚框； 锚框分类： 在每个特征点上分类是否属于前景和背景并对锚框位置参数进行回归， 分 类采用先将特征图进 行卷积， 进一步提取特征， 然后将通道数映射到对应的类别； 最后计算 概率； 位置回归： 根据通道数映射对应锚框的位置与大小， 回归的参数分别是矩形框中心点权　利　要　求　书 1/3 页 2 CN 114693657 A 2与锚框中心点横、 纵坐标的位移以及矩形框 长宽与锚框 长宽的比例； 锚框后处 理： 将回归得到的候选区域的宽、 高限制在输入图像尺寸范围内； 将剩余的候选区域按前景概率排序， 接着使用非极大值抑制剔除掉重复的候选区域， 最后从剔除后的结果中保留存在缺陷的候选区域。 7.如权利 要求1所述的基于Faster  R‑CNN的大型复杂结构件表面多尺寸多类别缺 陷智 能检测方法， 其特 征在于： 所述 步骤(7)中的缺陷的分类以及位置的精调的具体步骤如下： ROI Pooling： 使用ROI  Pooling将不同尺寸的各个ROI都映射至相同的大小； 将每个可能存在缺陷的候选区域ROI缩放到特征图尺寸范围内对应的区域， 然后将该 区域平均划分， 对网格的每一份都进 行最大池化处理， 并将ROI  Pooling后的结果展开 成一 维向量； ROI分类与回归： 将展开的一维向量输入全连接层进行缺陷的分类和位置回归， 全连接 层与softmax计算每个可能存在缺陷的候选区域具体属于哪个缺陷， 输出对应每个类别的 概率向量； 同时再次利用边界框回归获得每个候选区域的位置偏移量， 用于回归缺陷位置 检测框。 8.如权利 要求1所述的基于Faster  R‑CNN的大型复杂结构件表面多尺寸多类别缺 陷智 能检测方法， 其特 征在于： 还 包括模型训练， 所述模型训练步骤具体如下： 数据划分： 将采集的全部数据分为训练数据集和测试数据集， 随机选取部分数据作为 训练集用于模型训练获取最优 模型参数， 其 余数据作为测试 数据集用于 评估模型的性能； 训练策略： 对特征提取网络进行预训练得到初始化权重， 使用采集到的图像数据进行 训练， 训练过程采用交替优化训练。 9.如权利 要求1所述的基于Faster  R‑CNN的大型复杂结构件表面多尺寸多类别缺 陷智 能检测方法， 其特 征在于： 所述交替优化训练的步骤如下： (1)在预训练好的模型 上训练区域 生成网络： 损失函数设置如下： 式中， i表示第i个锚框； pi表示锚框区域预测为 缺陷的概 率； pi代表对应的真实标签； ti代表预测的边界框参数向量， 包括 边界框中心点 坐标： tx， ty， 边界框的宽和高： tw， th； 代表第i个锚框对应的真实框， λ表示权重平衡参数， 区域生成网络的分类损失 采用交叉熵损失函数， 位置回归损失 采用Smooth L1 Loss损失函数； (2)利用训练好的区域生成网络， 根据 生成的候选框对特征提取网络和Fast  RCNN网络 进行训练； (3)对区域生成网络进行第二次训练， 同时保持特征提取网络和Fast  RCNN网络的参数 层保持不变， 对区域 生成网络的参数进行精调； (4)利用第二次训练好的区域生成网络， 保持特征提取网络的参数保持不变， 根据生成 的候选框， 第二次训练Fast  RCNN网络， 精调Fast  RCNN网络中自己的参数。权　利　要　求　书 2/3 页 3 CN 114693657 A 3