(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210452246.7 (22)申请日 2022.04.27 (71)申请人 大连理工大 学 地址 116024 辽宁省大连市甘井 子区凌工 路2号 (72)发明人 王东　秦浩然　潘青慧　连捷　 (74)专利代理 机构 大连星河彩舟专利代理事务 所(普通合伙) 2126 3 专利代理师 陈玲玉 (51)Int.Cl. G06V 20/10(2022.01) G06V 10/25(2022.01) G06V 10/34(2022.01) G06V 10/762(2022.01) (54)发明名称 基于深度学习与多维信息融合聚类的果实 采摘点识别方法 (57)摘要 本发明提出基于深度学习与多维信息融合 聚类的果实采摘点识别方法。 首先Yolo算法识别 目标采摘果实， 并确定目标采摘果实的采摘点感 兴趣区。 然后对感兴趣区的深度图像进行孔洞填 充和空间边缘保留滤波处理， 选取预处理后的深 度信息以及筛选后的彩色图像颜色分量， 自适应 融合组成多个维度的数据样本。 使用上述数据样 本对采摘点感兴趣区进行基于K ‑means的聚类， 最后经过形态学处理中的去除小面积连通区域、 开运算、 图像细化， 实现了对果梗的准确识别， 并 根据果梗信息定位果实采摘点。 通过采用以上多 种方法联合识别， 提高了算法的准确率和鲁棒 性， 为农业采摘机器人提供了可靠的采摘点位置 信息。 权利要求书4页 说明书9页 附图4页 CN 114842337 A 2022.08.02 CN 114842337 A 1.基于深度学习与多维信息融合聚类的果实采摘点识别方法， 其特征在于， 包括步骤 如下： 步骤1： 采摘机器人选取目标采摘果实； 采摘机器人到达采摘位置后， 深度相机采集目标采摘区域的图像， 包括彩色图像和深 度图像； 选取彩色图像中置信度最高的果实作为 目标采摘果实； 获取目标采摘果实识别框 坐标， 其中左上角坐标 是(xmin,ymin)， 右下角坐标 是(xmax,ymax)； 步骤2： 获取果实采摘点感兴趣区； 根据步骤1中识别框坐标， 求目标采摘果实在已采集图像中的宽度wobject， 高度hobject； 设定采摘点感兴趣区ROI的宽度wROI， 高度hROI； 及采摘点 感兴趣区ROI的左上角坐标， 确保涵 盖整个果梗结构； 步骤3： 对深度图像进行 预处理； 消除噪声， 保留边 缘； 步骤4： 将采摘点感兴趣区多维信息融合聚类， 实现果实与枝作为目标类， 叶与空白区 域作为背景类； 所述聚类过程中： 步骤4.1， 将采摘点感兴趣区的像素点作为聚类数据样本X， 包含N个对象X＝{X1,X2, X3,…XN}， 其中N为采摘点感兴趣区像素点数量； 选取颜色空间以及对彩色图像分割 有效颜 色分量； 每个对 象具有多个有效颜色分量及深度图像的灰度信息的多维度属 性； 所述有效 颜色分量的颜色直方图中， 目标类和背景类呈现双峰分布； 步骤4.2， 定义深度信息自适应权重系数λ， λ能够实现根据不同果实的采摘环境， 感兴 趣区分割时依赖深度信息程度的不同， 做出适应性的调整； 步骤4.3， 利用基于K ‑means的聚类算法， 结合乘以自适应权重系数λ的深度信息， 得到 聚类结果； 步骤4.4， 定义一个与采摘点感兴趣区相同尺寸的单通道图像用于接收聚类结果， 此时 图像中的像素点已分为两类， 并将聚类结果图转 化为二值图像； 步骤5： 对二 值图像进行 形态学处 理， 得到细化图像； 步骤6： 遍历细化图像的像素点， 找到果梗的上、 下端点； 确定采摘点感兴趣区中采摘点 坐标， 再将此坐标转换至初始彩色图像的位置； 读取深度相 机内参计算该点的深度值z； 根 据手眼标定得到的坐标转换关系， 最终得到 机械臂基坐标系下的果实采摘点(x,y,z)。 2.根据权利要求1所述的基于深度学习与多维信息融合聚类的果实采摘点识别方法， 其特征在于， 所述步骤1中采用Yolo算法识别采摘区域的彩色图像中符合成熟度要求的果 实， 获取识别框坐标。 3.根据权利要求1所述的基于深度学习与多维信息融合聚类的果实采摘点识别方法， 其特征在于， 所述步骤2中目标采摘果实在已采集图像中的宽度wobject， 高度hobject如式(1)、 (2)所示： wobject＝xmax‑xmin (1) hobject＝ymax‑ymin (2) 根据果实的生长形态设置合适的采摘点感兴趣区尺寸， 确保感兴趣区能够包含完整的 果梗， 且满足步骤4中目标类 像素面积小于背景类 像素面积； 设定采摘点感兴趣区ROI的宽度wROI， 高度hROI如式(3)(4)所示： wROI＝g1*wobject (3)权　利　要　求　书 1/4 页 2 CN 114842337 A 2hROI＝g2*hobject (4) 其中g1,g2是常数； 采摘点感兴趣区设置在目标采摘果实的上方区域， 若超出图像边界， 则将感兴趣区边 界设置在 初始采集图像边界处。 4.根据权利要求1所述的基于深度学习与多维信息融合聚类的果实采摘点识别方法， 其特征在于， 步骤3对深度图像进行 预处理， 具体包括 步骤如下： 步骤3.1： 运用孔洞填充算法， 首先获取缺失数据像素点的上、 下、 左、 右四个相邻方向 的像素值， 选择四个 像素点中的最大 灰度值， 赋值给缺失数据像素点。 步骤3.2： 对深度图像进行空间边缘保留滤波处理； 所述空间边缘保留滤波器采用双边 滤波器。 5.根据权利要求1所述的基于深度学习与多维信息融合聚类的果实采摘点识别方法， 其特征在于， 步骤4.1 中， 定义属性维度M∈[2,4]， 即属性中包含 该对象的深度信息和1 ‑3个 有效颜色 分量； 定义存在n个有效颜色 分量， 其中n∈[1,3],n∈N*； 则属性维度M＝ n+1； 对n个有效颜色 分量及深度图像的灰度信息进行归一 化处理如式(5)、 (6)所示； sp＝Sp/255 p＝1,…,n (5) d＝D/65535 (6) 其中Sp表示第p个有效颜色 分量且Sp∈[0,25， D∈[0,6 5535]， sp,d∈[0,1]。 6.根据权利要求1所述的基于深度学习与多维信息融合聚类的果实采摘点识别方法， 其特征在于， 步骤4.2中深度信息自适应权 重系数 λ 的计算方法为： 颜色分量的颜色直方图中， 目标类和背景类呈现标准的双峰分布， 即两个高频率区被 一个低频率区隔开； 在颜色分量的颜色直方图中， 获取低频率区域中频率最低的灰度值L， 其取值范围为(0,25 5)； 选取灰度值区间U1,U2； U1,U2应同时满足以下三个条件： (1)U1,U2区间长度是mi n(L,255‑L)； (2) (3)U1区间内像素点数量 最多， U2在条件(2)下像素点数量 最多； 两个区间U1,U2的中心点μ1、 μ2即为双峰分布看作两个高斯分布f1(x)， f2(x)后的期望； 定义像素点灰度值聚集 程度Δ如式(7)所示： 其中， N1、 N2为U1,U2区域内像素点数量， N 为感兴趣区像素点个数； 自适应权 重系数 λ如式(8)所示； 其中k1,k2是常数,0.3＜ λ＜2.3 。 7.根据权利要求1所述的基于深度学习与多维信息融合聚类的果实采摘点识别方法， 其特征在于， 步骤4.3所述的基于K ‑means的聚类算法包括K ‑means++、 Mini ‑Batch K ‑ Means、 Kernel K‑means中的一种。权　利　要　求　书 2/4 页 3 CN 114842337 A 3