(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210462480.8 (22)申请日 2022.04.29 (71)申请人 上海智楹 机器人科技有限公司 地址 200000 上海市浦东 新区秀浦路25 55 号17幢5层5 M06室 申请人 中国天楹股份有限公司 　 江苏天楹环保能源成套设备有限公 司 (72)发明人 严圣军　秦宇　施宝昌　 (74)专利代理 机构 南京钟山专利代理有限公司 32252 专利代理师 陈亮亮 (51)Int.Cl. G06T 7/80(2017.01) G06V 10/762(2022.01)G06T 7/246(2017.01) G08G 1/16(2006.01) G08B 21/24(2006.01) B60R 1/22(2022.01) B60Q 9/00(2006.01) (54)发明名称 一种基于环卫车辆环视系统的盲区预警方 法和装置 (57)摘要 本发明公开了一种基于环卫车辆环视系统 的盲区预警方法和装置， 通过环 卫车辆的环视相 机构建视觉里程计， 并运用多相机信息完成尺度 恢复计算， 实现对环卫车辆盲区的三维感知， 随 后运用空间哈希表和欧几里得聚类算法实现对 三维点云数据的快速处理， 并采用分离轴定理的 碰撞检测算法实现了车辆盲区检测功能， 平衡了 计算速度和计算精度的矛盾， 保障环 卫车辆在各 种复杂工 况下对车辆周边盲区的实时预警， 具有 很高的实用价 值。 权利要求书3页 说明书8页 附图3页 CN 114998442 A 2022.09.02 CN 114998442 A 1.一种基于环卫车辆环视系统的盲区预警方法， 其特 征在于包 含以下步骤： 步骤一： 通过 车辆的多路盲区相机采集环卫车辆的盲区视频流； 步骤二： 通过视 觉里程计算法对 采集的视频流进行处 理并构建局部地图； 步骤三： 根据环视相机的标定参数对视 觉里程计进行尺度恢复； 步骤四： 使用空间哈希表对点云数据进行重构并进行聚类处理， 生成二维的矩形聚类 框； 步骤五： 根据环卫车辆尺寸信息生成车辆矩形框， 运用碰撞检测算法实现盲区检测； 步骤六： 根据 车辆行驶速度和盲区检测结果实现环卫车辆的盲区预警并通过语音或视 频的方式告知环卫车司机 。 2.根据权利要求1所述的一种基于环卫车辆环视系统 的盲区预警方法， 其特征在于： 所 述步骤二具体为： 2.1、 对各环视相机图片进行关键点提取， 利用环视相机的标定参数作为初值加入到里 程计优化系统中， 构建车辆坐标系下的视 觉里程计算法， 对车辆盲区进行持续跟踪； 2.2、 维护5 至9帧的局部地图以满足盲区检测需求。 3.根据权利要求2所述的一种基于环卫车辆环视系统 的盲区预警方法， 其特征在于： 所 述步骤2.1具体为： 里程计初始化完成后， 根据各盲区相机的外参数 ， 将车体坐标系下的地图点 投 影至对应的图像中， 从而构建统一的优化框架， 总体的残差函数如下： 其中， 等式右侧第一部分为先验误差， 第二部分为重投影误差， 函数ρ 为鲁棒核函数， 函 数 为先验误差函数， 为 针对优化变量X的雅可比矩阵， 为先验误差的协方差矩 阵， 函数 为视觉里程计重投影误差函数， 为相机观测值， X为待优化变量， 且有： ， 其中 ， ， 分别为i时刻车体系到世界系的平移和旋转， 为相机相对于车体的位姿矩阵， 即相 机的外参， 为角点的逆深度值， 为重投影误差的协方差矩阵； 其中， 视觉里程计重投影误差函数为： ， 其中， 为地图点 在车体系下的归一化坐 标， 为地图点 经过相机投影模型获得的在车体系下坐标；权　利　要　求　书 1/3 页 2 CN 114998442 A 2并有： ， 其中， 为地图点 在车体系下的归一化坐标， d地图点 在车体系下的逆 深度值， 与 分别为i与j时刻相机在世界系下位姿矩阵， 、 、 与 即 为待优化 参数； 从而将多路盲区相机的视频流数据统一到一个优化框架中进行计算， 并采用第 一非线 性优化算法进行迭代求 解， 最终实现视觉里程计在环视相机下的运行。 4.根据权利要求3所述的一种基于环卫车辆环视系统 的盲区预警方法， 其特征在于： 所 述第一非线性优化 算法为Levenberg ‑Marquardt算法。 5.根据权利要求1所述的一种基于环卫车辆环视系统 的盲区预警方法， 其特征在于： 所 述步骤三具体为： 3.1、 在环视相机中选取视野重 叠最多的一对相机， 分别定义 为左相机和右相机； 3.2、 将左相机中提取的关键点投影至右相机， 根据两相机已有的标定参数构建关于尺 度的优化 算法进行尺度计算； 3.3、 使用计算获得的尺度值进行相机位姿和点云的尺度恢复。 6.根据权利要求5所述的一种基于环卫车辆环视系统 的盲区预警方法， 其特征在于： 所 述步骤3.2具体为： 根据盲区相机间的外参数 ， 将左相机中提取的关键点 投影至右相机， 从而构 建光度误差函数， 光度误差函数 形式如下： 其中， 函数ρ 为鲁棒核函数， 函数 与 可求得关键点 所在位置 的像素值， 函数 与 为相机投影模型函数， 为关键点 在相机系下深度值， s为待优化变量， 即尺度值， γ 为光度误差的协方差矩阵； 根据函数 即可获得关键点 在左相机系下的坐标 ， 由函数 获得在 关键点 在右相机下的像素坐标， 即： ， 其中: ,K为相机的内参矩阵，权　利　要　求　书 2/3 页 3 CN 114998442 A 3