(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210387024.1 (22)申请日 2022.04.13 (71)申请人 杭州电子科技大 学 地址 310018 浙江省杭州市下沙高教园区2 号大街 (72)发明人 杨宇翔　邢玉虎　全嘉勉　高明裕　 何志伟　董哲康　 (74)专利代理 机构 杭州君度专利代理事务所 (特殊普通 合伙) 33240 专利代理师 杨舟涛 (51)Int.Cl. G06T 7/00(2017.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) B25J 9/16(2006.01) (54)发明名称 基于注意力机制生成式网络的机械臂抓取 参数估计方法 (57)摘要 本发明公开了一种基于注意力机制生成式 网络的机械臂抓取参数估计方法。 本发明利用 RGB‑D相机， 捕获相应的作业场景图像， 并将其输 入训练好的基于注意力机制生 成式网络中， 得到 抓取质量， 抓取角度， 抓取宽度和抓取优先级等 机械臂抓取参数信息， 并且通过抓取优先级对其 余抓取参数进行筛选， 从而获得在复杂多物体环 境中更好的机械臂抓取参数。 该发 明不仅可以很 好的解决机械臂在复杂堆叠环境中的自主抓取 能力， 而且通过对抓取优先级的参数估计， 进一 步加深了视觉系统对复杂堆叠环境中有效信息 的感知能力， 增强了整个系统对多维信息的数据 处理能力， 从而提高了机械臂在复杂堆叠环境中 的抓取精度。 权利要求书3页 说明书6页 附图1页 CN 114782347 A 2022.07.22 CN 114782347 A 1.基于注意力机制生成式网络的机 械臂抓取参数估计方法， 其特 征在于， 包括： S1利用RGB ‑D相机获取机械臂当前状态下的作业场景图像， 包括RGB图像Irgb和深度图 像Idepth以及作业场景参 考坐标系； S2依次将每个作业场景图像I输入训练好的基于注意力机制的生成式神经网络， 生成 包含运动 指令向量的二维图像组预测值， 二 维图像组预测值中至少包含一个二维抓取质量 图像Gθ， 一个二维抓取角度图像Aθ， 一个二维抓取宽度图像Wθ和一个二维抓取优先级 图像 Oθ， 分别包含机械臂抓取物体时的抓取成功率信息， 抓取角度信息， 夹爪张开宽度信息和抓 取顺序信息； S3对预测得到的二维图像组 中二维抓取质量图像Gθ的像素值进行大小 排序， 选取n个像 素值最大的像素点， 即为抓取成功率最高的预测值 根据该预测值的像素 点坐标对应到二 维角度图像Aθ， 二维抓取宽度图像Wθ和二维抓取优先级图像Oθ中， 即可获得 抓取角度预测值 抓取宽度预测值 和抓取顺序预测值 其中pn表示二维抓取质量图像Gθ的像素值从大到小排第n个的像素点坐 标； S4对抓取顺序预测值 进行排序， 选取抓取顺序优先级最高的预测值 则 对应像素点坐标的抓取信息为最佳运动指令向量， 即 S5将获得的最佳运动指令向量进行解析， 得到在机械臂基坐标系下待抓取目标物体的 抓取坐标、 抓取角度和抓取宽度， 即机 械臂的抓取参数。 2.根据权利要求1所述的基于注意力机制生成式网络的机械臂抓取参数估计方法， 其 中， 步骤S2中包括： S21基于现有的数据集对基于注意力机制的生成式神经网络进行训练； S22分别对作业场景图像进行 预处理， 得到300×300像素的作业场景图像； S23将图像特 征向量输入训练好的基于注意力机制的生成式神经网络； S24将基于注意力机制的生成式神经网络输出包含运动指令向量的二维图像组预测 值， 即为抓取成功可能性的参数 预测值。 3.根据权利要求1或2所述的基于注意力 机制生成式网络的机械臂抓取参数估计方法， 其中， 步骤S3中包括： S31对预测得到的二维图像组中二维抓取质量图像的像素值进行大小排序， 即二维抓 取质量图像中每 个像素值的大小代 表了以该点 为中心的机 械臂抓取成功率； S32选取n个最大抓取成功率预测值的坐标作为 抓取中心坐标； S33根据预测得到的二维图像组， 获取对应抓取中心坐标下的抓取角度像素值， 抓取宽 度像素值和抓取优先级像素值， S34根据抓取角度像素值， 抓取宽度像素值和抓取优先级像素值解析出抓取角度， 抓取 宽度和抓取顺序信息 。 4.根据权利要求1～3任一项所述的基于注意力机制生成式网络的机械臂抓取参数估 计方法， 其中， 步骤S5中包括：权　利　要　求　书 1/3 页 2 CN 114782347 A 2S51将获得的最佳运动指令向量进行解析； S52将解析后的数据通过腕部相机坐标系进行坐标转换； S53将得到的相机坐标系转换后的坐标通过机 械臂基座 坐标系进行坐标变换； S54将通过机械臂基座坐标系转换后得到的坐标和抓取宽度、 抓取角度信息输入机械 臂控制系统， 进行抓取。 5.根据权利要求2所述的基于注意力机制生成式网络的机械臂抓取参数估计方法， 其 特征在于： 所述的基于注意力机制的生成式神经网络的训练方法为： S01基于现有的数据集创建一个用于训练网络的数据集Gtrain； 所述Gtrain数据集包括工 作场景图像， 有效抓取框信息和只含最顶层物体的分割图像， 其中， Gtrain中只含最顶层物体 的分割图像为 二维抓取优先级图像； S02将有效抓取框信息映射到300 ×300的二维图像中， 获得二维抓取质量图像， 二维抓 取角度图像和二维抓取宽度图像， 结合Gtrain只含最顶层物体的分割图像， 构建二维图像组； S03通过构建注意力机制模块搭建基于注意力机制的生成式神经网络； S04使用数据集Gtrain和二维图像组对基于注意力机制的生成式神经网络进行训练， 输 入不含抓取信息的RGB ‑D图像， 输出含有抓取信息的二 维图像组， 获得训练后的基于注 意力 机制的生成式神经网络 。 6.根据权利要求5所述的基于注意力机制生成式网络的机械臂抓取参数估计方法， 其 特征在于， 基于注意力机制的生成式神经网络包括： 特征提取部分、 注意力机制部分、 生成网络 部分； 特征提取部分: 特征提取网络由一个卷积核大小为9 ×9的卷积层和两个卷积核大小为4 ×4的卷积层 组成， 这个阶段每个卷积层后面都紧接着一个Batch  Normalization归一化层和一个 Rectified  Linear Unit激活层； 将裁剪好的300 ×300大小的RGB图像Irgb和深度图像Idepth进行特征融合， 得到融合特征 图Ifusion， 将Ifusion输入特征提取网络， 进行 特征提取， 得到特 征图Ioutput1； 注意力机制部分: 注意力机制网络由五个注意力模块组成， 每个模块由残差部分， Squeeze部分和 Excitati on部分构成； 残差部分分成直接映射和残差映射两部分， 直接映射由1 ×1的卷积核对Ioutput1进行卷 积操作， 得到直接映射结果h(Ioutput1)， 残差映射由两个卷积核大小为3 ×3的卷积层构成， 两个卷积层后都紧接着一个Batch  Normalization归一化层， 第一个Bat ch Normalization 归一化层后接着一个Rectified  Linear Unit激活层， Ioutput1经过残差映射后得到R (Ioutput1)； Squeeze部分通过引入GlobalAverage  Pooling来实现， 作用是获得特征图的每个通道 的全局信息嵌入， 即特征向量； 假设uc是大小为W ×H， 通道为C的特征图， 则Squeeze后的特 征图为zc； Excitation部分通过zc学习到各个通道的权重， 由两层全连接层的门机制构成； 门控单权　利　要　求　书 2/3 页 3 CN 114782347 A 3