(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210390357.X (22)申请日 2022.04.14 (71)申请人 西安建筑科技大 学 地址 710055 陕西省西安市碑林区雁塔路 13号 (72)发明人 孟月波　王宙　韩九强　徐胜军　 刘光辉　 (74)专利代理 机构 西安通大专利代理有限责任 公司 6120 0 专利代理师 陈翠兰 (51)Int.Cl. G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06T 17/00(2006.01)G06V 10/80(2022.01) G06V 10/82(2022.01) G06V 10/75(2022.01) G06V 10/26(2022.01) (54)发明名称 一种增材修复机器人虚实坐标智能匹配方 法及系统 (57)摘要 本发明公开了一种增材修复机器人虚实坐 标智能匹配方法及系统， 包括以下步骤： 首先对 实物图像进行特征提取， 获取实物 不同阶段的多 尺度特征； 其次将每一阶段的多尺度特征与同维 度的上采样特征进行融合， 得到图像的融合特 征； 对融合特征进行增强， 获取增强后的输出特 征， 采用增强后的输出特征进行预测， 获取实物 的分割图像； 最后对获取的分割图像进行位置描 述， 获取实物的真实坐标， 同时建立实物的仿真 三维模型， 基于实物的真实坐标调整仿真三维模 型的位置， 实现实物与仿真三维模型的坐标匹 配。 提高图像分割质量， 降低了物件匹配的虚实 坐标误差， 提高了修复精度， 解决了现有技术中 虚实坐标对应困难， 影响修复精度， 需多次手工 调整， 耗时耗力的问题。 权利要求书3页 说明书9页 附图6页 CN 114662612 A 2022.06.24 CN 114662612 A 1.一种增材修复机器人虚实坐标智能匹配方法， 其特 征在于， 包括以下步骤： S1： 对实物图像进行 特征提取， 获取实物图像不同阶段的多尺度特 征； S2： 将每一阶段的多尺度 特征与同维度的上采样特征进行融合， 得到图像的融合特征； 对融合特征进 行增强， 获取增强后的整合特征， 采用整合特征进 行预测， 获取实物图像的分 割图像； S3： 通过对分割图像进行位置描述， 获取实物的真实坐标； 建立实物的仿真三维模型， 基于实物的真实坐标调整仿真三维模型的位置， 实现实物与仿真三维模型的坐标匹配。 2.根据权利要求1所述的一种增材修复机器人虚实坐标智能匹配方法， 其特征在于， 所 述S1中对实物图像进 行特征提取的包括以下步骤， 通过特征提取网络对实物图象进 行特征 提取： S1.1： 输入大小为Cj×Hj×Wj的特征图Pj， 经过1个卷积块后， 模块在一级残差阶段进行 通道拆分， 获取拆分特 征PAj： S1.2： 计算 直连特征： PBj＝Cov(Pj)        (2) S1.3： 拆分特征PAj在经过1个卷积 块后进入二级残差阶段， 二级残差阶段的输出特征为 Pmj： S1.4： 将式(2)和式(3)进行融合， 获得多尺度特 征Fj， 其中j＝2,3,4， 式中， Cov(.)表示卷积操作， 表示通道拆分后取index部分的特征， 为通道 融合操作。 3.根据权利要求2所述的一种增材修复机器人虚实坐标智能匹配方法， 其特征在于， 所 述S2包括以下步骤： S2.1： 建立分割预测网络， 将分割预测网络下每一 阶段的上采样特征定义为G1～G4， 将 每一阶段的多尺度特征Fj与同纬度的上采样特征融合， 得到融合特征Si； 并对融合特征Si进 行增强： S2.2： 对融合特 征Si进行压缩， 得到缩 减后的特 征Ti； S2.3： 完成特征Ti垂直坐标(H,1)和水平坐标(1,W)方向的编码， 得到不同维度的编码特 征 和 其中， c通道下垂直 坐标为h的编码表述 为： 水平坐标为 w的编码表述 为： 式中， xc(h,n)表示c通道中(h,n)位置处的特 征值；权　利　要　求　书 1/3 页 2 CN 114662612 A 2S2.4： 引入衰减系数r， 通过式(7)输出整合特 征 式中， σ(.)表示激活函数， 见式(8)： 式中， ω为输入的一个特 征， min(.)和max(.)分别代 表获取最小值和最大值的函数； S2.5： 采用维度拆分函数拆分 通过式(9)和(10)预测两个维度的融合系数 和 和 分别表示 位置信息和空间信息的重要程度； 通过式(1 1)预估输出的特 征Ai： 式中， φ(·,site)表示维度拆分后取site方向的特征值， λ( ·)为Sigmoid激活函数， 为乘积操作； S2.6： 采用一个预测卷积和一个Sigmoid激活函数预测分割图像， 得到实物的分割图 像。 4.根据权利要求3所述的一种增材修复机器人虚实坐标智能匹配方法， 其特征在于， 所 述S2.1中， 通过 单层3×3的卷积网络进行通道压缩。 5.根据权利要求1所述的一种增材修复机器人虚实坐标智能匹配方法， 其特征在于， 所 述S3包括以下步骤： S3.1， 对获取的分割图像进行位置描述， 以实物图像的俯视图Tview作为输入图像， 通过 式(12)输出实物的位置信息： x,y,hp,wp,γ＝ ψ(f(Tview))       (12) 式中， f(.)表示物体分割网络， ψ(.)为最小外接矩 形算法， (x,y)， hp,wp分别代表待修复 物件中心坐标、 外 接矩形的长度和宽度， γ为偏转角度； S3.2： 采用格雷厄姆算法计算物体图像的最小凸包Umin， 获取Umin中边的总数Nsum； S3.3： 定义数组Vrect并初始化； S3.4： 以Umin任意一条边Snum为起始边， 定义Snum左端点Oleft为旋转中心； S3.5： 旋转Snum， 判断Snum是否平行图像的坐标横轴， 若成立， 将边Snum的编号num、 旋转角 度Rangle、 面积最小绑定矩形Rarea插入数组Vrect中， 令Nsum＝Nsum‑1， 执行S3.6； 否则继续执行 S3.5； S3.6： 判断Nsum＝0是否成立， 若成立， 则顺时针选择下一条边， 更新Snum的信息， 执行 S3.5； 否则执 行S3.7； S3.7： 根据最小绑定矩形的面积Rarea对Vrect数组进行排序得到最小外接矩形， 根据式 (12)得到物件位置信息x,y,hp,wp,γ； S3.8： 根据γ调整仿真端实物的旋转 位置； S3.9： 获取仿真端物体的位置表述x',y',hp',wp',γ'， 获得X,Y轴的偏差dx＝x‑x'， dy＝权　利　要　求　书 2/3 页 3 CN 114662612 A 3