(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210349016.8 (22)申请日 2022.04.01 (71)申请人 中国特种设备检测研究院 地址 100026 北京市朝阳区和平街西苑2号 (72)发明人 梁丽红　陈赡舒　郭文明　代淮北　 (74)专利代理 机构 北京市盛峰律师事务所 11337 专利代理师 于国强 (51)Int.Cl. G06T 7/00(2017.01) G06V 10/80(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于Cascade Mask R-CNN模型的焊缝 缺陷检测方法 (57)摘要 一种基于Cascade  Mask R‑CNN模型的焊缝 缺陷检测方法， 首先获取包含圆缺、 条缺、 裂纹、 未焊透和未熔合五种缺陷的焊缝射线检测数字 图像及其对应的标注文件， 并划分为训练集、 验 证集和测试集； 再利用经图像预处理后的训练集 对基于Cascade  Mask R‑CNN模型搭建并优化 的 焊缝缺陷检测模 型进行训练， 采用验证集获取最 优权重文件后对测试集进行测试以此评估所述 焊缝缺陷检测模 型的性能。 本发 明改善了基于单 一阈值的目标检测模型精度较低问题以及直接 提高阈值而产生的过拟合问题， 提升了焊缝缺陷 的检测精度。 权利要求书3页 说明书8页 附图4页 CN 114627106 A 2022.06.14 CN 114627106 A 1.一种基于Cascade  Mask R‑CNN模型的焊缝缺陷检测方法， 其特征在于， 包括以下步 骤： S1、 获取含有圆缺、 条缺、 裂纹、 未焊透和未熔合五种缺陷的焊缝射线检测数字图像及 其对应的标注文件； 将所述焊缝射线检测数字图像和对应的所述标注文件划分为训练集、 验证集和 测试集； S2、 对焊缝射线检测数字图像进行图像预处 理， 得到增强且统一的图像； S3、 基于Cascade  Mask R‑CNN模型搭建并优化焊缝缺陷检测模型， 所述焊缝缺陷检测 模型包括特 征提取的卷积神经网络和分类与回归的预测网络； S4、 利用所述训练集对所述焊缝缺陷检测模型进行训练， 并采用所述验证集对每轮训 练得到的权 重文件进行验证， 获取在验证集上表现最优的权 重文件； 包括如下步骤： S41、 通过 所述卷积神经网络对所述焊缝射线检测数字图像进行 特征提取形成特征图； S42、 利用多尺度检测算法FPN改进RPN 为所述特 征图生成建议 候选框； S43、 将所述建议候选框映射到所述特征图中得到所对应的特征矩阵， 将所述特征矩阵 通过ROIAl ign统一缩放到指定大小； S44、 将所述建议候选框通过由目标分类器和边界框回归器组成的三级级联检测器得 到三个设定阈值下对应的缺陷类别和边界框回归参数； 最后通过非极大值抑制以及滤除低 概率目标得到最终的检测结果； S45、 设置所述焊缝缺陷检测模型的训练参数， 采用所述训练集通过所述步骤S41 ‑S44 对所述焊缝缺陷检测模型进行训练， 并采用所述验证集对每一轮训练得到的权重文件进 行 验证， 获取在所述验证集上表现最优的权 重文件； S5、 利用所述测试集对应用步骤S45得出的在验证集上表现最优的所述权重文件进行 测试， 以此评估该焊缝缺陷检测模型的性能。 2.根据权利要求1所述的基于Cascade  Mask R‑CNN模型的焊缝缺陷检测方法， 其特征 在于， 步骤S2中进 行图像预 处理的方法包括图像增强与图像去噪， 所述图像增强采用AHE算 法对所述焊缝射线检测数字图像进行图像增强， 对所述焊缝射线检测数字图像进 行细节锐 化， 凸显缺陷特 征， 所述图像增强的计算公式如下： 上式中： yi,j表示变换前的中心像素， Yi,j表示变换后的中心像素， mi,j表示以yi,j为中心 点的局部区域的灰度均值， T表 示对该点的累积分布变换函数， k表 示自适应函数， 由局部区 域的像素 征计算得 出； 所述图像去噪采用DMB算法对焊缝射线检测数字图像进行图像去噪， 降低图像噪声， 对 缺陷特征保留并增强。 3.根据权利要求1所述的基于Cascade  Mask R‑CNN模型的焊缝缺陷检测方法， 其特征 在于， 步骤S41 中的所述卷积神经网络为ResNeXt ‑101,所述卷积神经网络包括卷积层、 池化 层和激活层， 卷积层从输入的所述图像中提取特征， 生成特征图； 池化层用于去除冗余信 息， 减少参数量， 扩大接受域； 激活层增加输出 的非线性， 利用激活函数对输出层的结果进 行卷积， 得到非线性映射。权　利　要　求　书 1/3 页 2 CN 114627106 A 24.根据权利要求1所述的基于Cascade  Mask R‑CNN模型的焊缝缺陷检测方法， 其特征 在于， 步骤S42中利用FPN改进RPN 为特征图生成建议 候选框， 包括以下步骤： S421： 在所述卷积神经网络的前向过程中前馈ResNeXt ‑101的一部分， 记ResNeXt ‑101 每级最后一个残差块的输出为{C1,C2,C3,C4,C5}， 首先是 自底向上的过程， 每一级往上采 用设定步长的降采样， 将不改变特 征图大小的层归为 一个stage以此构成特 征金字塔； S422： 自顶向下采用上采样的方式将顶层的小特征图放大到与上一个stage的特征图 一样的大小； S423： 所述横向连接将上采样结果和自底向上生成的相同大小 的特征图进行融合， 通 过3×3的卷积核对每 个融合结果进行 卷积得到最终的特 征层为P＝{P2,P3,P4,P5}。 5.根据权利要求4所述的基于Cascade  Mask R‑CNN模型的焊缝缺陷检测方法， 其特征 在于， 所述步骤S421还包括： 在ResNeXt ‑101的{C3,C4,C5 }中引入高效注意力模块， 首先采 用1×1的卷积Wk以及softmax 获得注意力权重， 通过注意力池化获取全局上下文特征， 其次 通过一个1 ×1的卷积Wv1和层归一化后， 由ReLU函数激活， 再经过一个1 ×1的卷积Wv2， 得到 每个通道的重要程度， 最后利用加法将全局上下文特征聚合到每个位置的特征上， 形成长 距离依赖关系； 所述注意力模块计算公式如下： 上式中： zi表示注意力模块的输入， Zi表示注意力模块的输出， Np表示为特征映射中的 位置数， 表示全局 注意力池化的权重， LN代表层归一化， Wv2ReLU(LN(Wv1(·))) 表示计算每 个通道的重要程度。 6.根据权利要求4所述的基于Cascade  Mask R‑CNN模型的焊缝缺陷检测方法， 其特征 在于， 所述步骤S423 之后还包括： 通过K ‑means聚类算法统计标注文件中矩形标注框的面积 和长宽比， 设置五种面积{322,642,1282,2562,5122}的anchor分别对应到{P2,P3,P4,P5,P6} 五个特征层上， 其中P6特征层通过P5特征层降采样得到， 每种面积的anchor设置七种长宽 比{1:10,1:5,1:2,1:1,2:1,5:1,10:1}， 生成的anchor在特征层上滑动遍历， 进而 生成建议 候选框。 7.根据权利要求1所述的基于Cascade  Mask R‑CNN模型的焊缝缺陷检测方法， 其特征 在于， 步骤S44中的所述三级级联检测器中的边界框回归器被定义为一个级 联回归问题， 级 联回归通过重采样改变不同阶段 所要处理的样本分布， 所述 边界框回归器定义如下： 上式中： x表示子图像块， b表示样本分布， f表示边界框回归器， f1、 f2、 f3设定的阈值分 别为0.4、 0.5、 0.6， f1的输出作为f2的输入， f2的输出作为f3的输入， {f1,f2,f3}针对不同阶 段的重采样分布进行优化， 同时作用于训练和 测试阶段； 定义训练模型的总损失函数L包括两部分： 边界框回归损失、 目标分类损失， 所述总损 失函数计算公式如下： L(xt,g)＝Lcls(ht(xt),Xt)+ μ[Xt≥1]Lloc(ft(xt,bt),g)权　利　要　求　书 2/3 页 3 CN 114627106 A 3