(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210274727.3 (22)申请日 2022.03.21 (71)申请人 沈阳理工大 学 地址 110159 辽宁省沈阳市 浑南新区南屏 中路6号 (72)发明人 刘猛　吕艳辉　李发伯　 (74)专利代理 机构 沈阳东大知识产权代理有限 公司 21109 专利代理师 梁焱 (51)Int.Cl. G01C 3/18(2006.01) G06T 7/80(2017.01) G06K 9/62(2022.01) G06V 10/74(2022.01) G06V 10/762(2022.01) (54)发明名称 一种基于视觉的障碍物 识别与测距方法 (57)摘要 本发明提供一种基于视觉的障碍物识别与 测距方法， 涉及视觉传感器定位技术领域。 该方 法将双目视觉与提出的TS ‑YOLO障碍物识别算法 相结合， 实现对特定障碍物识别及测距功能。 通 过对双目相机进行立体标定， 得到相机的内外参 后进行立体校正， 随后运用半全局立体匹配算法 SGBM获取图像视差图， 最后将TS ‑YOLO障碍物识 别算法与双目测距结合， 对图像中的障碍物进行 检测与识别， 得到图像中障碍物的边界框坐标信 息和障碍物的类别， 最后读取边界框坐标信息区 域的视差信息， 并运用双目测距原理计算出障碍 物的距离。 本发 明能够提高障碍物识别与测距的 准确率与实时性， 可在保持高精度的检测效果的 同时完成障碍物的实时测距。 权利要求书3页 说明书8页 附图8页 CN 114608522 A 2022.06.10 CN 114608522 A 1.一种基于 视觉的障碍物 识别与测距方法， 其特 征在于： 该 方法包括以下步骤： 步骤1： 通过双目相机左右摄像头拍摄不同角度的图片， 并通过Matlab离线标定完成双 目相机的立体标定和校正； 步骤2： 启动已经标定好的双目相机， 判断双目相机是否读取到图像， 如果没有则重新 判断， 总共判断N次， 一 旦超过总次数N， 则直接结束该算法； 步骤3： 双目相机读取到图像就通过标定得到的参数对图像进行立体校正， 随后 通过半 全局立体匹配算法SGBM得到左相机的视差图， 再运用TS ‑YOLO障碍物识别算法对相机左视 图的图像进行障碍物检测与识别， 得到图像中障碍物的边界框坐标信息和障碍物的类别， 并读取边界框坐标信息区域的视 差信息； 步骤4： 删除不在指定区域的视差值并计算指定区域的所有视差值， 将所有的视差值求 均值， 最后通过视 差均值来计算障碍物 距离。 2.根据权利要求1所述的基于视觉的障碍物识别与测距方法， 其特征在于： 所述步骤3 中的半全局立体匹配算法SGBM使用互信息计算全局能量代价函数， 利用动态 规划算法求解 代价函数的最小值， 其匹配流程是： 先为相机图像中的各个像素点选取适当的视差值， 从而 生成初始的视差值图， 之后再通过求得能量函数的最佳解， 即能量函数的最小值， 最 终求得 各个像素点最好的视差值。 3.根据权利要求2所述的基于视觉的障碍物识别与测距方法， 其特征在于： 所述半全局 立体匹配算法SGBM所采用的能量 函数如式(1)所示： 其中， E(D)是视差图D对应的全局能量函数， p、 q表示图像中的任何两个像 素点， Np是点p 的相邻像素点， Dp是点p的视差值， Dq是点q的视差值； 当视差图为D时， 全部像素的代价累加 为 与 是函数的平滑项， 对像素点p 的Np领域内的所有q进行惩罚， 表示视差图为D时， 所有像素的平滑代价 的累加， 其中T为判 断函数， T函数里面的条件为真， 则返回1， 否则返回0； P1和P2为惩罚系数， 分别用来适应视差 变化的情况； 通过动态规划的方法对每 个路径方向上的能量 值进行求 解， 求解如式(2)所示： 其中， r表示某个指向当前像素点p的方 向； Lr(p,d)表示沿着当前方向， 当像素点p的视 差取值为d时的最小的代价值； 最小代价值Lr(p,d)是从Lr(p‑r,d)、 Lr(p‑r,d‑1)+P1、 Lr(p‑r, d+1)+P1、 这4种可能的候选值中选取的最小值； Lr(p‑r,d)为前一个 像素点p‑r的视差取值为d时的最小的代价 值； Lr(p‑r,d‑1)为前一个 像素点p‑r的视差取值为d‑1时的最小的代价 值； Lr(p‑r,d+1)为前一个 像素点p‑r的视差取值为d+1时的最小的代价 值；权　利　要　求　书 1/3 页 2 CN 114608522 A 2为前一个 像素点p‑r的视差取值为其他值i时的最小的代价 值； 为前一个 像素点取不同视 差值k时最小的代价 值； C(p,d)表示当前像素点p和移动d之后的像素点之间， 经过半个像素插值后， 寻找两个 像素点灰度或者RGB差值的最小值； S(p,d)为像素点p的总能量 值， 如式(3)所示； 像素点p的最终视差值是对每个路径累加的代价最少的视差值， 对图像中的所有像素 点进行运 算后， 得到整个图像的视 差值。 4.根据权利要求1所述的基于视觉的障碍物识别与测距方法， 其特征在于： 所述TS ‑ YOLO障碍物 识别算法是基于 YOLOv4‑Tiny改进的模型， 基于 YOLOv4‑Tiny做出的改进包括： 优化网络结构， 增加检测尺度， 进行多个尺度融合， 降低各卷积层核数， 并加入SPP网络 结构； 引入EIOU损失方法构建回归损失函数； 采用K‑means++聚类算法对所使用的数据集进行聚类分析， 改进初始化锚框 。 5.根据权利要求4所述的基于视觉的障碍物识别与测距方法， 其特征在于： 所述TS ‑ YOLO障碍物 识别算法的流 程为： TS‑YOLO网络首先通过输入端输入图片， 该 图片尺寸根据实际需要选择416 ×416尺寸 或者608×608尺寸； 经过优化后的主干特征提取网络CSPDarknet53 ‑Tiny里的三个CSPNet 网络以及增加的SPP空间金字塔池化结构进行初步特征提取， 将提取到的图片特征传递到 改进后融合多尺度的FPN网络进 行特征融合， 加强图像特征， 最后在预测层三个尺度不同的 特征图上分别对大、 中、 小目标进行检测预测， 在特征图上应用K ‑means++聚类算法重新聚 类生成的锚点框， 获得带有类概率、 对象得分和边界框的最 终输出向量， 并且加入边界回归 损失函数EIOU。 6.根据权利要求5所述的基于视觉的障碍物识别与测距方法， 其特征在于： 所述TS ‑ YOLO障碍物 识别算法中优化网络结构具体包括： 在原网络YOLOv4 ‑Tiny的基础 上再增加一个检测层， 然后通过FPN网络结构融合前两个 尺度的特 征信息； 将最后一个池化层后面的卷积层从网络中移除； 将第一个上采样前面的卷积层的核数由128降为64； 尺度为19 ×19的检测层最后两个 CBL模块中的卷积层核数由256和512降为128和256； 尺度为38 ×38的检测层最后一个CBL模 块的卷积层核数由25 6降为128； 引入空间金字塔池化结构SPP， 对于不同尺寸的图像输入， SPP产生 固定大小的输出， 并 且通过最大池化操作将输入的图像特 征映射到维度不同的空间上进行融合。 7.根据权利要求5所述的基于视觉的障碍物识别与测距方法， 其特征在于： 所述TS ‑ YOLO障碍物 识别算法中采用EIOU边界框回归损失函数， 如式(7)所示； 权　利　要　求　书 2/3 页 3 CN 114608522 A 3