(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210549755.1 (22)申请日 2022.05.20 (71)申请人 南京理工大 学 地址 210094 江苏省南京市玄武区孝陵卫 200号 (72)发明人 朱雪妍　赵壮　陆骏　韩静　张毅　 (74)专利代理 机构 南京苏创专利代理事务所 (普通合伙) 32273 专利代理师 张艳 (51)Int.Cl. G06T 7/194(2017.01) G06T 7/13(2017.01) G06T 7/136(2017.01) G06T 7/155(2017.01) G06T 7/187(2017.01)G06T 5/00(2006.01) G06T 5/20(2006.01) G06V 10/762(2022.01) (54)发明名称 面向自动化焊接的图像增强与特征提取方 法 (57)摘要 本发明涉及一种面向自动化焊接的图像增 强与特征提取方法， 包括： 对焊件图像进行图像 增强： 利用RGB分离与归一化方法， 分别对Red通 道归一化图像、 Green通道归 一化图像、 Blue通道 归一化图像增强处理， 得到增强后的R通道图像、 G通道图像、 B通道图像， 然后进行RGB合成， 得到 重构焊件图像； 对焊件图像进行前景分割： 对 图 像提取感兴趣区域， 然后前景切割， 得到RGB前景 焊件图像； 对增强后的焊件图像进行特征提取： 对RGB前景焊件图像进行边缘检测， 然后进行焊 缝中心线提取， 得到边缘与焊缝信息。 本发明实 现焊件图像边 缘和焊缝的高效提取。 权利要求书7页 说明书15页 附图5页 CN 115147448 A 2022.10.04 CN 115147448 A 1.一种面向 自动化焊接的图像增强与特 征提取方法， 其特 征在于： 包括以下步骤： 步骤1： 对焊件图像进行图像增强： 利用RGB分离与归一化方法， 分别对Red通道归一化 图像、 Green通道归一化图像、 Blu e通道归一化图像增强处理， 得到增强后的R通道图像、 G通 道图像、 B通道图像， 然后进行RGB合成， 得到 重构焊件图像； 步骤2： 对焊件图像进行图像分割： 先提取图像的目标区域作为标记， 然后进行图像前 景分割， 得到焊件图像的感兴趣区域； 步骤3： 对增强后的焊件图像进行特征提取： 对步骤2得到的焊件图像进行边缘检测， 然 后进行焊缝中心线提取， 得到边 缘和/或焊缝信息 。 2.根据权利要求1所述的面向自动 化焊接的图像增强与 特征提取方法， 其特征在于： 所 述步骤1采用基于Reti nex模型的焊件图像增强算法， 具体过程 为： Retinex理论对图像的增强基于单通道灰度图完成， 在图像增强前常需进行 灰度转换； 在Retinex模型中， 观测到的图像I(x,y)分为两部分， 一部分是物体的入射部分即光照 图像， 对应于图像的低频部 分； 另一部 分是物体的反射光照即反射图像， 对应于图像的高频 部分， 表达式为： I(x,y)＝R(x,y)*L(x,y)   (1) 其中， I(x,y)是观察到的图像信号， R(x,y)是图像的反射分量， L(x,y)是图像的入射分 量； 首先提取R、 G、 B三通道的灰度图像， 之后再对每一个通道分别使用Retinex算法进行增 强， 最后合成彩色RGB图像。 3.根据权利要求1所述的面向自动 化焊接的图像增强与 特征提取方法， 其特征在于： 所 述步骤2采用基于GrabCut的焊件图像分割 算法， 具体过程为： 首先通过阈值分割选取 目标 区域， 然后将其应用于 GrabCut自动化分割算法中作为前景标记， 从而实现图像的自动化分 割， 以达到提取焊件图像感兴趣区域的目的。 4.根据权利要求3所述的面向自动 化焊接的图像增强与 特征提取方法， 其特征在于： 所 述阈值分割选取目标区域的具体过程 为： 1)图像二值化： 用最大类间方差法寻找最佳阈值， 即搜索最小化类内方差的阈值， 迭代 多次以求得最合适的阈值， 选择阈值进行图像二值化分割后， 前景与背景图像的类间方差 最大； 2)数学形态学处理： 数学形态学包括膨胀、 腐蚀、 开运算和闭运算， 膨胀与腐蚀都是通 过在程序中操作结构元素在图像上平移 来实现的， 其中， 腐蚀是把区域的内边界变成背景， 完成区域的向内缩小， 膨胀是将区域的外边界变成对象， 完成区域的向外扩展， 此 处选用膨 胀算法对前 景图像进行处 理， 膨胀后的前 景图像覆盖前 景目标区域； 2)连通域标记： 将具有相同像素值的相邻像素找出来并标记。 5.根据权利要求3所述的面向自动 化焊接的图像增强与 特征提取方法， 其特征在于： 在 传统GrabCut算法中， 图像中像素总 集合可以被定义为I,像素点的个数定义为n， 为描述图 像中相邻元素的关系， 将相邻元素所组成的无序对写为{i,j}(i,j∈I),i,j表示图像中相 邻元素,将无序对的集合写为P， 设二元矢量A＝{A1,A2,...,Ai,...,An}， 其中Ai是I中第i个 像素值， 在二元 分割任务中， Ai＝0表示背景， Ai＝1则表示前景， 从输入图中创建相应的无向 图ξ＝<u,v >,其中途中的节点u对应于图像中某 一个像素i∈I， v 是无向图中边的集合， 除了权　利　要　求　书 1/7 页 2 CN 115147448 A 2节点和边之外， 该无向图中还需添加前景节点s和背景节点t， 以对整个无向图的信息进行 辅助分离， 且前 景节点s、 背景节点t与图像 像素节点u之间的关系满足： u＝I∪{s,t}  (2.1) 由于分割通常是在对特定的目标区域进行划分， 这意味着需要对上述无向图ξ的边界 和区域施加一种约束， 一般采用软约束， 即MRF， 该约束可以用采用下述能量函数E(A)进行 描述： E(A,k, θ,I)＝U(A,k, θ,I)+V(A,I)   (2.2) 其中， U(A,k, θ,I)表示对像素属于前景还是背景施加一定的惩罚， 具体形式表示为该 像素属于前景抑或是背景的负对数似然函数； V(A,I)为边界项惩罚， 即表示两像素组成的 无向图的边的惩罚， GrabCut即为 沿着能量最小化的路径， 即绿色切割路径所经过的红、 黄、 蓝曲线之和能量 最小， 即沿着细曲线 进行切割； 从数学模型的角度出发， U(A,k, θ,I)的数 学表达式为 其中D(Ai,ki, θ,i)为 其中GMM的参数θ主 要包括 θ ＝{ π(A,K), μ(A,K), σ(A,k),A＝0,1； k ＝1,2,...,K}  (2.5) 其中K指的是高斯分量； 针对RGB颜色空间， 一般K＝5， 并且采用下式中K个高斯分量全 协方差GM M来对图像中的前 景和背景进行建模； 其中πj表示权重， gj(x, μj, σj)为 其中x是个二维向量， d是数据维度， 从上式可以看出GMM中每一个高斯分量都有权重π, 均值向量 μ和协方差矩阵σ， 在 RGB图像中， 均值 μ为3 ×1的向量， σ 为3 ×3的矩阵； 在经过GMM 建模之后， 即可得到向量k＝{k1,...,ki,...,kn},其中ki(ki∈{1,...,K})就是像素i相对应 的高斯分量， 经 过建模之后， 图像中任一像素都将会被划分为前 景或者背景； 对于像素p和q之间相连边的惩罚项V: 从式(2.5)可以看出， 当邻域中i,j两元素之间相差很小时， 二者大概率属于同一区域， 此时惩罚项V(A,I)较大； 在两像素相差较大时， 二者大概率不属于同一区域， 而处于边缘部权　利　要　求　书 2/7 页 3 CN 115147448 A 3