(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210365206.9 (22)申请日 2022.04.08 (71)申请人 深圳职业 技术学院 地址 518000 广东省深圳市南 山区西丽 街 道西丽湖镇西丽湖畔 (72)发明人 高山　吴继雁　陈鹏飞　 (74)专利代理 机构 山东誉丰合创知识产权代理 有限公司 37384 专利代理师 李洵 (51)Int.Cl. G06T 7/80(2017.01) G06V 10/80(2022.01) G06V 10/74(2022.01) G06K 9/62(2022.01) G06Q 50/02(2012.01) (54)发明名称 一种基于双目立体视觉的果园智能喷药方 法及系统 (57)摘要 本申请公开了一种基于双目立体视觉的果 园智能喷药方法及系统， 喷药装置在果园行走过 程中采用双目摄像头采集实时视频数据并且通 过轻量化目标检测算法进行实时果树检测； 当检 测到果树时喷药装置暂停， 启用双目摄像头拍摄 一对图片； 根据相机标定结果对 上述的一对图片 进行图像矫正； 将矫正后的一对图片进行立体匹 配， 得到两者对应像素点； 根据立体匹配结果得 到视差图， 并根据三角测量原理计算得到深度 图； 利用深度图信息结合目标检测结果推算出果 树距离； 最后根据检测到的果树目标在拍摄图像 的区域， 调整喷头的高度和角度， 保证喷头正对 果树实施喷药。 本方案能够获取到更加精准的果 树距离、 具体方位影响喷药实际效果的信息， 从 而实现更为精准的施药。 权利要求书2页 说明书5页 附图2页 CN 114612577 A 2022.06.10 CN 114612577 A 1.一种基于双目立体视 觉的果园智能喷药 方法， 其特 征在于， 所述方法包括： 喷药装置在果园行走过程中采用 双目摄像头采集实时视频数据并且通过轻量化目标 检测算法进行实时果 树检测； 当检测到果 树喷药装置暂停， 启用双目摄 像头拍摄一对图片； 根据相机标定结果对上述的一对图片进行图像矫 正； 将矫正后的一对图片进行立体匹配， 得到 两者对应 像素点； 根据立体匹配结果得到 视差图， 并根据三角测量原理计算得到深度图； 利用深度图信息结合目标检测结果推算出果 树距离； 最后根据检测到的果树目标在拍摄图像的区域， 调整喷头的高度和角度， 保证喷头正 对果树实施喷药。 2.根据权利要求1所述的基于双目立体视觉的果园智能喷药方法， 其特征在于， 所述喷 药装置在果园行走过程中采用双目摄像头采集实时视频数据并且通过轻量化目标检测 算 法进行实时果 树检测， 包括： 通过轻量化目标检测算法NanoDet采用无锚点框的回归方式， 主干网络采用 MobileNetV2用于提取 特征； 之后接特 征金字塔网络FPN进行 特征融合； 最后接检测头回归目标的中心 距四边的距离， 最后转换为目标检测框 。 3.根据权利要求2所述的基于双目立体视觉的果园智能喷药方法， 其特征在于， 所述根 据相机标定结果对上述的一对图片进行图像矫 正， 包括： 根据摄像头定标后获得的单目内参数据和双目相对位置关系； 分别对左右视 图进行消除畸变和行对准， 使得左右视 图的成像原点坐标一致、 两摄像 头光轴平行、 左右成像平面共面、 对极线行对齐。 4.根据权利要求3所述的基于双目立体视觉的果园智能喷药方法， 其特征在于， 所述分 别对左右视图进行消除畸变和行对准， 包括： 获取摄像头标定后的各项参数， 首先采用OpenCV中的stereoRectify函数得到校正旋 转矩阵R、 投影矩阵P、 重投影矩阵Q， 然后采用i nitUndistor tRectifyMap函数 得出校准映射 参数； 最后利用remap函数来校准输入的左右图像。 5.根据权利要求4所述的基于双目立体视觉的果园智能喷药方法， 其特征在于， 所述将 矫正后的一对图片进行立体匹配， 得到 两者对应 像素点， 包括： 获取同一 点在多个成像面上像点的对应关系； 利用一点在同一 位置下两个成像点之间的视 差信息求取 该点本身的三维信息 。 6.一种基于双目立体视 觉的果园智能喷药系统， 其特 征在于， 所述系统包括： 检测模块， 用于喷药装置在果园行走过程中采用双目摄像头采集实时视频数据并且通 过轻量化目标检测算法进行实时果 树检测； 拍照模块， 用于当检测到果 树喷药装置暂停， 启用双目摄 像头拍摄一对图片； 图像矫正模块， 用于根据相机标定结果对上述的一对图片进行图像矫 正； 立体匹配模块， 用于将矫 正后的一对图片进行立体匹配， 得到 两者对应 像素点； 计算模块， 用于根据立体匹配结果得到 视差图， 并根据三角测量原理计算得到深度图；权　利　要　求　书 1/2 页 2 CN 114612577 A 2距离获取模块， 用于利用深度图信息结合目标检测结果推算出果 树距离； 喷药模块， 用于最后根据检测到的果树目标在拍摄图像的区域， 调整喷头的高度和角 度， 保证喷头正对果 树实施喷药。 7.根据权利要求6所述的基于双目立体视觉的果园智能喷药系统， 其特征在于， 所述检 测模块包括： 提取特征单元， 用于通过轻量化目标检测算法NanoDet采用无锚点框的回归方式， 主干 网络采用Mobi leNetV2用于提取 特征； 特征融合单 元， 用于之后接特 征金字塔网络FPN进行 特征融合； 转换单元， 用于最后接检测头回归目标的中心 距四边的距离， 最后转换为目标检测框 。 8.根据权利要求7所述的基于双目立体视觉的果园智能喷药系统， 其特征在于， 所述图 像矫正模块包括： 第一获取 单元， 用于根据摄 像头定标后获得的单目内参数据和双目相对位置关系； 矫正单元， 用于分别对左右视 图进行消除畸变和行对准， 使得左右视 图的成像原点坐 标一致、 两摄像头光轴平行、 左右成像平面共面、 对极线行对齐。 9.根据权利要求8所述的基于双目立体视觉的果园智能喷药系统， 其特征在于， 所述矫 正单元包括： 获取子单元， 用于获取摄像头标定后的各项参数， 首先采用OpenCV中 的stereoRectify 函数得到校正旋转矩阵R、 投影矩阵P、 重投影矩阵Q， 第一校准子单 元， 用于然后采用i nitUndistor tRectifyMap函数 得出校准映射 参数； 第二校准子单 元， 用于最后利用remap函数来校准输入的左右图像。 10.根据权利要求9所述的基于双目立体视觉的果园智能喷药系统， 其特征在于， 所述 立体匹配模块包括： 第二获取 单元， 获取同一 点在多个成像面上像点的对应关系； 计算单元， 用于利用一点在同一位置下两个成像点之间的视差信息， 求取该点本身的 三维信息 。权　利　要　求　书 2/2 页 3 CN 114612577 A 3