(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210485437.3 (22)申请日 2022.05.06 (71)申请人 北京交通大 学 地址 100044 北京市海淀区西直门外上园 村3号 (72)发明人 张慧　李浥东　韩瑜珊　曹原周汉 　 金一　丁春涛　 (74)专利代理 机构 北京市商 泰律师事务所 11255 专利代理师 邹芳德 (51)Int.Cl. G06V 20/56(2022.01) G06V 10/22(2022.01) G06V 10/25(2022.01) G06V 10/44(2022.01)G06V 10/764(2022.01) G06V 10/80(2022.01) G06K 9/62(2022.01) (54)发明名称 基于协作图融合的协同目标检测方法及系 统 (57)摘要 本发明提供一种基于协作图融合的协同目 标检测方法及系统， 属于自动驾驶技术领域， 获 取待检测目标的点云数据， 生 成二维鸟瞰图和候 选区域框； 基于粗粒度的方法选取候选区域框中 心车辆的检测盲区， 根据检测盲区筛选近邻车辆 的二维鸟瞰图局部特征； 基于细粒度的方法将近 邻车辆的二维鸟瞰图局部特征使用协作图融合， 得到中心车辆新的协作特征； 基于中心车辆新的 协作特征， 对每个候选区域做分类和回归预测， 经过阈值筛选， 得到最终的检测结果。 本发明从 粗粒度和细粒度两个角度考虑局部特征的协同； 通过传递局部特征， 协同检测可以减缓计算资源 的压力， 更加精准地对中心车辆盲区进行协 同， 有效提升协同检测性能和检测精度的同时， 减少 了通信资源的开销。 权利要求书2页 说明书10页 附图2页 CN 114913495 A 2022.08.16 CN 114913495 A 1.一种基于协作图融合的协同目标检测方法， 其特 征在于， 包括： 获取待检测目标的点云数据， 生成二维鸟瞰图和候选区域框； 基于粗粒度的方法选取候选区域框中心车辆的检测盲区， 根据检测盲区筛选近邻车辆 的二维鸟瞰图局部特 征； 基于细粒度的方法将近邻车辆的二维鸟瞰图局部特征使用协作图融合， 得到中心车辆 新的协作特 征； 基于中心车辆新的协作特征， 对每个候选区域做分类和回归预测， 经过阈值筛选， 得到 最终的检测结果。 2.根据权利要求1所述的基于协作图融合的协同目标检测方法， 其特征在于， 获取待检 测目标的点云数据， 生成二维鸟瞰图和候选区域框， 包括： 在自动驾驶场景中， 对于每个车辆目标的点云数据， 利用特征提取器提取三维的点云 数据， 转换成二维鸟瞰图特 征， 作为全局特 征； 将每个车辆的二维的鸟瞰图输入3D区域 生成网络， 生成相应车辆的3D候选区域框； 得到车辆的候选区域框后， 再经过3D的感兴趣区域池化层得到每个候选区域框的二维 鸟瞰图特 征， 作为局部特 征。 3.根据权利要求2所述的基于协作图融合的协同目标检测方法， 其特征在于， 每个3D候 选区域框都有相应的分类置信度， 分类置信度 代表相应候选框属于每个类别以及背景类的 概率， 当候选区域框属于前景 的概率小于预设的阈值， 则该候选区域框属于当前车辆的检 测盲区。 4.根据权利要求1所述的基于协作图融合的协同目标检测方法， 其特征在于， 基于粗粒 度的方法选取候选区域框中心车辆的检测盲区， 根据检测盲区筛选近邻车辆的二 维鸟瞰图 局部特征， 包括： 选择中心车辆周围预设范围内的近邻车辆作为协同目标； 对于中心车辆的每个候选区 域框判断是否为盲区； 得到中心车辆及其协同车辆的一系列候选区域框及其局部特 征； 使用交并比选择可与中心车辆盲区协同的近邻车辆区域； 对于中心车辆的每个盲区候 选框， 遍历近邻车辆的候选区域框， 如果盲 区候选框与近邻候选框的IOU大于阈值， 则该近 邻候选框与中心车辆的盲区候选框很大概率表示同一区域， 两者的协同可以增强中心车辆 对该区域的识别能力。 5.根据权利要求4所述的基于协作图融合的协同目标检测方法， 其特征在于， 对于 中心 车辆的每个候选区域框判断是否为盲区， 包括： 如果候选区域框的置信度分布差异明显， 且 在某类别的置信度大于预设的置信度阈值， 说明该中心车辆可以明确检测到目标属于背 景 或者某个具体的类别， 该候选框具有显著 性； 相反， 如果候选区域框的置信度小于预设的阈 值， 车辆无法判断目标所属类别， 则该候选框所 处区域为中心车辆的盲区， 是中心车辆所需 协同的区域， 加入中心车辆的盲区集 合。 6.根据权利要求1所述的基于协作图融合的系统目标检测方法， 其特征在于， 基于细粒 度的方法将近邻车辆的二维鸟瞰图局部特征使用协作图融合， 得到中心车辆新的协作特 征， 包括： 使用基于注意力图的方式融合局部特征； 遍历中心车辆的每个盲区候选框， 为候选框 及其近邻协同框构建注意力图， 并更新该盲区候选框的局部特征； 为盲区候选框及其近邻权　利　要　求　书 1/2 页 2 CN 114913495 A 2协同框构建注意力图， 其中图的结点是盲区候选框和协同近邻候选框的BEV局部特征， 方向 为每个协同近邻候选框指向盲区候选框， 以及盲区候选框指向自己； 得到每条边的权重后， 使用聚合 函数更新中心车辆的盲区的局部特 征。 7.一种基于协作图融合的协同目标检测系统， 其特 征在于， 包括： 获取模块， 用于获取待检测目标的点云数据， 生成二维鸟瞰图和候选区域框； 筛选模块， 用于基于粗粒度的方法选取候选区域框中心车辆的检测盲区， 根据检测盲 区筛选近邻车辆的二维鸟瞰图局部特 征； 协作模块， 用于基于细粒度的方法将近邻车辆的二维鸟瞰图局部特征使用协作图融 合， 得到中心车辆新的协作特 征； 检测模块， 用于基于 中心车辆新的协作特征， 对每个候选区域做分类和回归预测， 经过 阈值筛选， 得到最终的检测结果。 8.一种计算机设备， 包括存储器和处理器， 所述处理器和所述存储器相互通信， 所述存 储器存储有可被所述处理器执行的程序指 令， 所述处理器调用所述程序指 令执行如权利要 求1‑6任一项所述的基于协作图融合的协同目标检测方法。 9.一种电子设备， 其特征在于， 包括存储器和处理器， 所述处理器和所述存储器相互通 信， 所述存储器存储有可被所述处理器执行 的程序指令， 所述处理器调用所述程序指令执 行如权利要求1 ‑6任一项所述的基于协作图融合的协同目标检测方法。 10.一种计算机可读存储介质， 其特征在于， 其存储有计算机程序， 所述计算机程序被 处理器执行时实现如权利要求1 ‑6任一项所述的基于协作图融合的协同目标检测方法。权　利　要　求　书 2/2 页 3 CN 114913495 A 3