(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210275772.0 (22)申请日 2022.03.21 (71)申请人 北京航空航天大 学合肥创新研究院 （北京航空航天大 学合肥研究生院） 地址 230012 安徽省合肥市新站高新区文 忠路999号 申请人 北京踏歌智行 科技有限公司 (72)发明人 徐国艳　陆宇骁　余贵珍　王章宇　 周彬　 (74)专利代理 机构 北京天汇航智知识产权代理 事务所(普通 合伙) 11987 专利代理师 黄川 (51)Int.Cl. G01S 13/931(2020.01) G01S 13/89(2006.01)G01S 13/86(2006.01) G01S 17/86(2020.01) G01S 17/931(2020.01) G06V 10/25(2022.01) G06V 10/762(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于4D毫米波雷达与激光雷达融合的 目标检测方法 (57)摘要 本发明公开了一种基于4D毫米波雷达与激 光雷达融合的目标检测方法， 基于4D毫 米波雷达 的特性， 通过4D毫 米波雷达点云在三维空间中聚 类时生成ROI， 只将ROI内的激光雷达送入神经网 络进行目标检测； 在4D毫米波点云聚类时， 提出 一种考虑反射强度与速度信息的基于马氏距离 的密度聚类； 本发明的技术方案， 相比于将所有 激光雷达点 云送入神经网络的方法， 大大降低了 计算量， 提升了目标检测的速度， 误识别的概率 低， 在雨雪、 雾、 扬尘等场景激光雷达失效时， 仍 然可以通过4D毫米波雷达感知障碍物在三维空 间中的位置， 大小， 反射强度并进行简单的分类， 极大增加了感知系统的抗干扰能力和环境适应 能力。 权利要求书2页 说明书6页 附图2页 CN 114675275 A 2022.06.28 CN 114675275 A 1.一种基于4D毫米波雷达与激光雷达融合的目标检测方法， 其特征在于， 包括以下步 骤： S1： 接收经过时空同步的4D毫米波雷达点云和激光雷达点云， 对4D毫米波雷达点云进 行基于马氏距离的高维度密度聚类； S2： 根据步骤S1的聚类结果对每一个簇拟合有向包围盒； S3： 根据先验信息及包围盒内的点云平均反射强度、 包围盒几何特征， 对每一个簇分 类， 并滤除地 面点云簇及其包围盒； S4： 提取剩余包围盒中的激光雷达点云， 按簇依次输入神经网络， 进行目标检测； S5： 判断步骤S4中是否有目标被检测到， 若有则覆盖步骤S3中的分类结果和包围盒结 果， 若无则保留步骤S2和步骤S3中的结果， 并增 加标注Radar  Result。 2.根据权利要求1所述的目标检测方法， 其特征在于， 所述步骤S1中， 遍历接收的4D毫 米波雷达 点云， 计算多维随机变 量P(x， y， z， vx， vy， I)的协方差矩阵Σ， 进行基于马氏距离的 高维密度聚类， 其中， 输入： 4D毫米波雷达六维点云集D＝(p1,p2,...,pm)， 邻域参数( μ,MinPt s)， 协方差矩阵 Σ， 样本距离度量方式即马氏距离 输出： 簇划分C； 其中， x,y,z为点云在三维空间中的坐标， vx和vy为点云沿X轴和沿Y轴的运动速度， I为 点云的反射强度， p1,p2,...,pm为4D毫米波雷达点云， μ为邻域距离阈值， MinPts为聚类时核 心对象邻域内包 含的最少样本数， pi,pj为点云集D中任意两点； 具体的聚类过程 为： S1‑1： 初始化核心对象集合 聚类簇数k＝0， 未访问样本集合Γ＝D， 簇划分 S1‑2： 遍历点云集D， 找出 所有核心对象； S1‑3： 如果核心对象集 合 则聚类结束， 否则转入步骤S1 ‑4； S1‑4： 在核心对象集合Ω中， 随机选择一个核心对象o， 初始化当前簇核心对象队列Ω cur＝{o}， 初始化类别序号k＝k+1， 初始化当前簇样本集合Ck＝{o}， 更新未访问样本集合 Γ＝Γ‑{o}； S1‑5： 如果当前簇核心对象队列 则当前聚类簇Ck生成完毕， 更新簇划分C＝ {C1,C2,...,Ck}， 更新核心对象集合Ω＝Ω ‑Ck， 转入步骤S1 ‑3， 否则更新核心对象集合Ω＝ Ω‑Ck； S1‑6： 在当前簇核心对象队列Ωcur中取出一个核心对象o ′， 通过邻域距离阈值μ找出 所有的μ邻域子样本 集N μ(o′)， 令Δ＝N μ(o ′)∩Γ， 更新当前簇样本集合Ck＝Ck∪Δ， 更新未 访问样本集 合Γ＝Γ ‑Δ， 更新Ωcur＝Ωcur ∪(Δ∩Ω)‑o′， 转入步骤S1 ‑5； 其中， μ邻域的定义为： 对于xj∈D， 其 μ邻域包含样本集D中与xj的距离不大于 μ的子样本 集， 即N μ(xj)＝{xi∈D|distance(xi,xj)≤ μ}， 该子样本集的个数记为|N μ(xj)|； 核心对象的定义为： 对于任一样本xj∈D， 如果其 μ邻域对应的N μ(xj)至少包含MinPts个 样本， 即如果|N μ(xj)|≥MinPts， 则xj是核心对象。权　利　要　求　书 1/2 页 2 CN 114675275 A 23.根据权利要求2所述的目标检测方法， 其特征在于， 所述步骤S1 ‑2中， 找出所有 的核 心对象的方法为： 首先， 通过马氏距离度量方式， 找到样本xj的μ邻域子样本集 N μ(xj)； 然后， 如果子样本集样本个数满足|N∈(xj)|≥MinPts， 将样本xj加入核心对象样本集 合： Ω＝Ω∪{xj}。 4.根据权利要求1或2所述的目标检测方法， 其特征在于， 所述步骤S2中， 输入： 4D毫米 波雷达点云簇Ci＝(pi1,pi2,...,pin)， 迭代步长δ， pi1,pi2,...,pin为Ci中的4D毫米波雷达点 云； 输出： 包围盒底面矩形边界{ajx′+bjy′＝cj|j＝1,2,3,4}， 包围盒高度h， aj,bj,cj为直线 表达式的参数； 步骤S2的具体过程 为： S2‑1： 将三维点云簇投影到xy平面， 得到N＝((x1′,y1′),(x2′,y2′)...,(xm′,ym′))， (x1′,y1′),(x2′,y2′)...,(xm′,ym′)分别为点云投影到xy平面上的坐标； S2‑2： 初始化包围盒底面矩形的任一 边相对于x轴的角度 θ ＝0， 空字典Q； S2‑3： 令e1＝(cosθ,si nθ )， e2＝(‑sinθ,cosθ )， 计算 S2‑4： 令 计算α ＝‑ Q←( θ:α )； S2‑5： 判断θ<π/2是否成立， 若成立， 执行θ＝θ+δ， 跳转步骤S2 ‑3； 若不成立， 执行步骤 S2‑6； S2‑6 ： 选取Q中 ， α最大时对应的键θ*， 计算 S2‑7： 计算a1＝cosθ*， b1＝sinθ*， a2＝‑sinθ， b2＝cosθ， a3 ＝cosθ*， b3＝sinθ*， a4＝‑sinθ， b4＝cosθ， S2‑8： 遍历点云簇Ci， 计算h＝p.zmax‑p.zmin， p.zmax为Ci中所有点云的最大z值， p.zmin为 Ci中所有点云的最小z值； S2‑9： 算法结束。 5.根据权利要求1或2所述的目标检测方法， 其特征在于， 所述步骤S3中的先验信息为： 通过采集4D毫米波 雷达点云数据， 对每一帧点云数据执行步骤S1和步骤S2， 统计其中地面、 行人、 小型车辆或大 型车辆的点云簇平均反射强度及点云簇包围盒的高度信息 。 6.根据权利要求1 ‑5之一所述的目标检测方法， 其特征在于， 所述步骤S4中的点云目标 检测网络为Po intPillars。权　利　要　求　书 2/2 页 3 CN 114675275 A 3