(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210302460.4 (22)申请日 2022.03.25 (71)申请人 南京鼐云信息技 术有限责任公司 地址 210000 江苏省南京市雨 花台区宁双 路19号云密城8栋 5楼501、 502室 (72)发明人 周鹏　章旺　吴斌　 (74)专利代理 机构 南京苏创专利代理事务所 (普通合伙) 32273 专利代理师 吴太平 (51)Int.Cl. G01S 13/86(2006.01) G01S 7/41(2006.01) G01S 17/86(2020.01) G06V 10/80(2022.01) G06V 10/25(2022.01)G06V 10/82(2022.01) (54)发明名称 一种基于毫米波雷达和视觉传感器的车辆 检测方法 (57)摘要 本发明涉及一种基于毫米波雷达和视觉传 感器的车辆检测方法， 包括如下步骤： 1通过毫米 波雷达接收前方目标的雷达数据； 2对接收到的 目标信息进行解析， 得到前方目标与本车的距 离、 角度和相对速度； 3对进行过解析的目标进行 筛选， 得到有效目标； 4对目标进行可视化处理， 将雷达监测到的有效目标位置信息投影于雷达 监测鸟瞰图中， 并将该目标对应的速度信息关联 显示； 5通过视觉传感器获取目标的外形尺寸以 及目标类别信息； 6将视觉传感器获取的信息和 毫米波雷达数据进行融合， 完成对 前方目标的检 测。 本发明能够达到实时检测要求， 能够准确获 取目标车辆位置及距离 。 权利要求书2页 说明书4页 附图1页 CN 114660590 A 2022.06.24 CN 114660590 A 1.一种基于毫米波雷达和视 觉传感器的车辆检测方法， 其特 征在于， 包括如下步骤： 步骤1： 通过毫米波雷达 接收前方目标的雷达数据； 步骤2： 对接收到的目标信息进行解析， 得到前 方目标与本车的距离、 角度和相对速度； 步骤3： 对进行 过解析的目标进行筛 选， 得到有效目标； 步骤4： 对目标进行可视化处理， 将雷达监测到的有效目标位置信 息投影于雷达监测鸟 瞰图中， 并将该目标对应的速度信息关联显示； 步骤5： 通过视 觉传感器获取目标的外形尺寸以及目标类别 信息； 步骤6： 将视觉传感器获取的信息和毫米波雷达数据进行融合， 完成对前方目标的检 测。 2.根据权利要求1所述的基于毫米波雷达和视觉传感器的车辆检测方法， 其特征在于， 所述步骤3具体包括如下步骤： 步骤3.1： 判断目标 是否为空目标， 如果是则 删除数据， 如果 不是则进入步骤3.2； 步骤3.2： 判断目标 是否为非车道目标， 如果是则 删除数据， 如果 不是则进入步骤3.3； 步骤3.3： 判断目标是否在雷达的有效探测范围内， 如果是则输出雷达有效目标， 如果 不是则删除数据。 3.根据权利要求1所述的基于毫米波雷达和视觉传感器的车辆检测方法， 其特征在于， 步骤5的具体步骤如下： 步骤5.1： 通过视 觉传感器对图像进行采集 步骤5.2： 对图像中的目标进行提取； 步骤5.3： 通过卷积神经网络对目标进行去噪处理， 得到目标与本车的距离、 角度和相 对速度。 4.根据权利要求1所述的基于毫米波雷达和视觉传感器的车辆检测方法， 其特征在于， 步骤6具体包括如下步骤： 步骤6.1： 将雷达坐标系转换为世界坐标系， 公式如下： 式中， X、 Y、 Z为坐标系， R为前方目标与雷达的径向距离， α 为偏航角， H为雷达坐标系XOZ 平面与世界坐标系XOZ平面的距离， Z0为雷达坐标系XOY平面到世界坐标系XOY平面的距离； 步骤6.2： 将视 觉传感器坐标系转换为世界坐标系， 公式如下： 式中， (Xc， Yc， Zc)为视觉传感器坐标系下的坐标， (Xw， Yw， Zw)为世界坐标系下的坐标， R 为两个坐标系之间的旋转关系， T为两个坐标系之间的平 移关系； 步骤6.3： 对视 觉传感器和毫米波雷达进行 联合标定， 进行空间融合； 步骤6.4： 通过间隔采样的方法对毫米波雷达和视 觉传感器进行时间融合；权　利　要　求　书 1/2 页 2 CN 114660590 A 2步骤6.5： 对毫米波雷达和视 觉传感器进行 数据关联， 并根据不同情况进行判断， 包括： (a)存在未关联的视 觉数据， 仅输出视 觉检测结果； (b)视觉传感器和毫米波雷达数据完成关联， 输出 雷达、 视觉关联检测结果； (c)存在未关联的雷达数据， 依据雷达信息 输出检测结果。 5.根据权利要求1所述的基于毫米波雷达和视觉传感器的车辆检测方法， 其特征在于： 步骤5中所述去噪处 理的方法如下： (1)最大值法： Gray(i， j)＝max{R(i， j)， G(i， j)， B(i， j)}； (2)分量法： 将亮度值作为 三个输出 灰度值， 进行分配处 理， 公式如下： Gray1(i， j)＝R(i， j) Gray2(i， j)＝G(i， j) Gray3(i， j)＝B(i， j)； (3)加权平均法： Gray(i， j)＝0.289*R(i， j)+0.5 68*G(i， j)+0.104*B(i， j)； 其中， R、 G、 B为 三原色， (i， j)为像素的坐标点。 6.根据权利要求1所述的基于毫米波雷达和视觉传感器的车辆检测方法， 其特征在于： 所述卷积神经网络为CN N卷积神经网络， 包括输入层、 卷积层、 池化层、 ReLu层和全连接层。权　利　要　求　书 2/2 页 3 CN 114660590 A 3