(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210588010.6 (22)申请日 2022.05.26 (71)申请人 浙江大学 地址 310058 浙江省杭州市西湖区余杭塘 路866号 (72)发明人 岑海燕　李昕瑾　张海涛　王斯　 谢鹏尧　 (74)专利代理 机构 北京方圆嘉 禾知识产权代理 有限公司 1 1385 专利代理师 王月松 (51)Int.Cl. G06T 7/593(2017.01) G06T 7/13(2017.01) G06V 10/26(2022.01) G06V 10/762(2022.01) (54)发明名称 一种植物三维形态自适应测量方法及系统 (57)摘要 本发明涉及一种植物三维形态自适应测量 方法及系统。 该方法包括将RGB ‑D相机固定在机 械臂工具端， 并根据设定的机械臂的采集点位及 设定的采样姿态获取植物的RGB图像和深度图 像； 对预处理后的RGB图像和深度图像确定三维 点云集合； 对三维点云集合进行自适应采样， 确 定目标采样点； 根据目标采样点确定RGB ‑D相机 位置和相机姿态， 进而根据RGB ‑D相机位置和相 机姿态确定机械臂的采样位姿； 根据机械臂的采 样位姿和目标采样点获取植物的目标RGB图像和 目标深度图像； 利用目标RGB图像和目标深度图 像和植物的初步轮廓确定三维点 云图像。 本发明 能够快速、 准确地实现植物三维点云图像的重 建。 权利要求书2页 说明书10页 附图3页 CN 114972473 A 2022.08.30 CN 114972473 A 1.一种植物三维形态自适应测量方法， 其特 征在于， 包括： 将RGB‑D相机固定在机械臂工具端， 并根据设定的机械臂的采集点位及设定的采样姿 态获取植物的RGB图像和深度图像； 对所述RGB图像和所述深度图像进行预处理； 所述预处理包括： 背景去除、 降噪以及滤 波； 对预处理后的RGB图像和深度图像确定三维点云集 合； 对所述三维点云集合进行自适应采样， 确定目标采样点； 根据所述目标采样点确定 RGB‑D相机位置和相机姿态， 进 而根据RGB ‑D相机位置和相机姿态确定 机械臂的采样位姿； 根据机械臂的采样位姿和所述目标采样点获取植物的目标RGB图像和目标深度图像； 利用植物的目标RGB图像和目标深度图像和植物的初步轮廓确定三维点云图像。 2.根据权利要求1所述的一种植物三维形态自适应测量方法， 其特征在于， 所述对所述 RGB图像和所述深度图像进行 预处理， 具体包括： 利用Opencv识别算法对所述RGB图像进行平面分割， 确定去除背景的植物RGB图像； 利用离群点分离和条件滤波对去除背景的植物RGB图像进行点云降噪； 利用直通滤波算法对所述深度图像进行 滤波。 3.根据权利要求1所述的一种植物三维形态自适应测量方法， 其特征在于， 所述对预处 理后的RGB图像和深度图像确定三维点云集 合， 具体包括： 对预处理后的RGB图像和深度图像进行计算匹配生成对应点 位的局部点云； 对所述局部点云进行降采样处理后， 并利用平面分割、 离散点去除、 条件滤波算法进行 降噪处理， 得到降噪后的局部点云； 将降噪后的局部点云从相机坐标系转换到机械臂基座坐标系下， 确定粗配准后的局部 点云； 基于迭代最近点 算法， 对粗配准后的局部点云进行配准重建， 确定三维点云集 合。 4.根据权利要求1所述的一种植物三维形态自适应测量方法， 其特征在于， 所述对所述 三维点云集合进行自适应采样， 确定目标采样点； 根据所述目标采样点确定RGB ‑D相机位 置， 进而根据RGB ‑D相机位置和相机姿态确定 机械臂的采样位姿， 具体包括： 对所述三维点云集 合进行聚类； 根据聚类后的三维点云集合建立植株圆柱体模型， 并根据植株圆柱体模型确定待确定 采样点， 并根据待确定采样点确定三维点云模型； 对三维点云模型进行聚类， 确定叶片， 并根据叶片确定目标采样点； 根据叶片三维点云确定叶片每 个点的法向量和对应的主向量； 根据叶片每 个点的法向量和对应的主向量确定相机初始位置和相机姿态； 根据相机初始位置和相机姿态确定 机械臂的采样位姿。 5.根据权利要求4所述的一种植物三维形态自适应测量方法， 其特征在于， 所述对三维 点云模型进行聚类， 确定叶片， 并根据叶片确定目标采样点， 之后还 包括： 利用凸优化对所述目标采样点进行优化。 6.一种植物三维形态自适应测量系统， 其特 征在于， 包括： RGB图像和深度图像获取模块， 用于将RGB ‑D相机固定在机械臂工具端， 并根据设定的 机械臂的采集 点位及设定的采样姿态获取植物的RGB图像和深度图像；权　利　要　求　书 1/2 页 2 CN 114972473 A 2预处理模块， 用于对所述RGB图像和所述深度图像进行预处理； 所述预处理包括： 背景 去除、 降噪以及滤波； 三维点云集 合确定模块， 用于对预处 理后的RGB图像和深度图像确定三维点云集 合； 机械臂的采样位姿确定模块， 用于对所述三维点云集合进行自适应采样， 确定目标采 样点； 根据所述目标采样点确 定RGB‑D相机位置和相机姿态， 进而根据 RGB‑D相机位置和相 机姿态确定 机械臂的采样位姿； 目标RGB图像和目标深度图像获取模块， 用于根据机械臂的采样位姿和所述目标采样 点获取植物的目标RGB图像和目标深度图像； 三维点云图像确定模块， 用于利用植物的目标RGB图像和目标深度图像和植物的初步 轮廓确定三维点云图像。 7.根据权利要求6所述的一种植物三维形态自适应测量系统， 其特征在于， 所述三维点 云集合确定模块具体包括： 局部点云确定单元， 用于对预处理后的RGB图像和深度图像进行计算匹配生成对应点 位的局部点云； 降噪后的局部点云确定单元， 用于对所述局部点云进行降采样处理后， 并利用平面分 割、 离散点去除、 条件滤波算法进行降噪处 理， 得到降噪后的局部点云； 粗配准后的局部点云确定单元， 用于将降噪后的局部点云从相机坐标系转换到机械臂 基座坐标系下， 确定粗配准后的局部点云； 三维点云集合确定单元， 用于基于迭代最近点算法， 对粗配准后的局部点云进行配准 重建， 确定三维点云集 合。 8.根据权利要求6所述的一种植物三维形态自适应测量系统， 其特征在于， 所述机械臂 的采样位姿确定模块具体包括： 第一聚类单 元， 用于对所述 三维点云集 合进行聚类； 三维点云模型确定单元， 用于根据聚类后的三维点云集合建立植株圆柱体模型， 并根 据植株圆柱体模型确定待确定采样点， 并根据待确定采样点确定三维点云模型； 第二聚类单元， 用于对三维点云模型进行聚类， 确定叶片， 并根据叶片确定目标采样 点； 向量确定单 元， 用于根据叶片三维点云确定叶片每 个点的法向量和对应的主向量； 相机初始位置和相机姿态确定单元， 用于根据叶片每个点的法向量和对应的主向量确 定相机初始位置和相机姿态； 机械臂的采样位姿确定单元， 用于根据相机初始位置和相机姿态确定机械臂的采样位 姿。 9.根据权利要求8所述的一种植物三维形态自适应测量系统， 其特征在于， 所述机械臂 的采样位姿确定模块还 包括： 优化单元， 用于利用凸优化对所述目标采样点进行优化。权　利　要　求　书 2/2 页 3 CN 114972473 A 3