(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210451738.4 (22)申请日 2022.04.26 (71)申请人 北京邮电大 学 地址 100876 北京市海淀区西土城路10号 北京邮电大 学新科研楼627室 (72)发明人 闫实　刘卓涵　程宇杰　孙泽忠　 彭木根　 (74)专利代理 机构 北京清亦华知识产权代理事 务所(普通 合伙) 11201 专利代理师 单冠飞 (51)Int.Cl. G06V 20/58(2022.01) G06V 20/64(2022.01) G06V 10/80(2022.01) G06T 7/12(2017.01) (54)发明名称 一种车路协同感知数据分级融合方法及装 置 (57)摘要 本发明提出一种车路协同感知数据分级融 合方法， 包括： 获取在车上的第一传感器采集的 车侧原始感知数据， 并将其预处理为预设格式的 第一数据， 根据第一数据获得车侧感知轨迹参 数， 对其进行融合处理， 得到一级融合结果， 获取 部署在路侧的第二传感器采集的路侧原始感知 数据， 并将其预处理为预设格式的第二数据， 根 据第二数据获得路侧感知轨迹参数， 对其进行融 合处理， 得到路侧融合结果， 并对一级融合结果 和路侧融合结果进行融合， 得到二级融合结果， 获取多个二级融合结果进行融合， 得到三级融合 结果， 将三级融合结果下发至车辆， 车辆将第三 融合结果作为最终感知结果。 该方法以解决车路 多源数据异步融合问题， 扩展车辆感知范围， 输 出高精度感知结果。 权利要求书3页 说明书11页 附图2页 CN 114998860 A 2022.09.02 CN 114998860 A 1.一种车路协同感知数据分级融合方法， 其特 征在于， 该 方法包括以下步骤： 获取安装在车辆上的第 一传感器采集的车侧 原始感知数据， 并将所述车侧 原始感知数 据预处理为预设格式的第一数据， 根据所述预设格式的第一数据获得 车侧感知轨 迹参数； 对所述车侧感知轨 迹参数进行融合处 理， 得到一级融合结果； 获取部署在路侧的第 二传感器采集的路侧原始感知数据， 并将所述路侧 原始感知数据 预处理为预设格式的第二数据， 根据所述预设格式的第二数据获得路侧感知轨 迹参数； 对所述路侧感知轨迹参数进行融合处理， 得到路侧融合结果， 并对所述一级融合结果 和所述路侧融合结果进行融合， 得到二级融合结果； 获取来自多个路侧单元的二级融合结果， 并对所述来自多个路侧单元的二级融合结果 进行融合， 得到三级融合结果， 将所述三级融合结果下发至自动驾驶车辆， 其中， 所述自动 驾驶车辆将所述第三融合结果作为 最终感知结果。 2.如权利要求1所述的方法， 其特征在于， 所述预设格式的第 一数据包括点云图格 式的 数据和/或像素图格式的数据， 当所述预设格式的第一数据为所述点云图格式和/或像素图 格式数据时， 所述 根据所述预设格式的第一数据获得 车侧感知轨 迹参数， 包括： 利用点云检测分割技术和/或图像检测分割技术从点云图和/或图像中分别提取障碍 物3D边界框； 根据3D边界框获得对应的车侧感知轨迹参数， 其中， 车辆感知轨迹参数包括： 障碍物3D 边界框中心坐标 由连续两帧障碍物边界框中心坐标估计出的速度 和 3.如权利要求1或2所述的方法， 其特征在于， 所述对所述车侧感知轨迹参数进行融合 处理， 得到一级融合结果， 包括： 根据第一传感器将车侧感知轨 迹参数进行融合处 理； 根据运动学方程基于时间间隔周期获得名义状态， 所述名义状态包括下一 时刻的预测 轨迹参数； 计算状态估计协方差和卡尔曼增益得到一级融合结果。 4.如权利要求1所述的方法， 其特征在于， 对所述路侧感知轨迹参数进行融合处理， 得 到路侧融合结果， 并对所述一级融合结果和所述路侧融合结果进行融合， 得到二级融合结 果： 以首次接收到一级融合结果和路侧融合结果的时间T0为初始融合时刻， 对一级融合结 果和路侧融合结果进行多源数据融合； 且Tc<Tf<2Tc， T0+nTf为当前融合 时刻， 其中， Tf为融合周期， TC为一级融合结果上传至路 边单元的上传周期， n 为正整数； T0+nTf时刻仅融合在T0+(n‑1)Tf至T0+nTf期间接收到的一级融合结果和路侧融合结果。 5.如权利要求 4所述的方法， 其特 征在于， 对所述多源数据融合， 包括： 将融合过程作为函数节点， 多数据源作为变量节点， 若融合函数包含该变量 时， 用有向 边连接两者对应的节点， 构建融合模型； 若函数节点与变量节点间的消息传递满足高斯分布， 根据消息传递规则和融合顺序计 算所有消息， 可 得到t时刻x坐标 下最终融合结果：权　利　要　求　书 1/3 页 2 CN 114998860 A 2其中， xt‑1和xt分别为t‑ 1时刻和t时刻融合输出值， 为多源数据的噪声方差， 为 多源数据输入的x轴方向上的坐标， 和 分别为 的噪声方差和 测量值； 以及， 可得t时刻y坐标 下最终融合结果： 若仅收到一个一级融合结果， 则将一级融合结果作为 二级融合结果； 若收到多个一级融合结果， 则对一级融合结果进行融合， 将融合后所得结果作为二级 融合结果。 6.如权利要求5所述的方法， 其特征在于， 所述对所述来自多个路侧单元的二级融合结 果进行融合， 得到三级融合结果， 包括： 以首次接收到二级融合结果的时间T3为初始融合时刻， 对所述来自多个路侧单元的二 级融合结果进行融合； T3+nTd时刻仅融合在T3+(n‑1)Td至T3+nTd期间接收到的二级融合结果， 其中Td(Td>Tc)为 融合周期， 且T3+nTd为当前融合时刻； 对二级融合结果进行融合， 得到三级融合结果， 其中所述三级融合结果包括： 多站点数 据融合后障碍物3D边界框中心坐标 以及融合后障碍物x轴、 y轴方向的速度 其范围为多个路侧单 元所覆盖的范围。 7.一种车路协同感知数据分级融合装置， 其特 征在于， 该装置包括： 第一获取模块， 用于获取安装在车辆上的第一传感器采集的车侧原始感知数据， 并将 所述车侧原始感知数据预 处理为预设格式的第一数据， 根据所述预设格式的第一数据获得 车侧感知轨 迹参数； 第一处理模块， 用于对所述车侧感知轨 迹参数进行融合处 理， 得到一级融合结果； 第二获取模块， 用于获取部署在路侧的第二传感器采集的路侧原始感知数据， 并将所 述路侧原始感知数据预 处理为预设格式的第二数据， 根据所述预设格式的第二数据获得路 侧感知轨 迹参数； 第二处理模块， 用于对所述路侧感知轨迹参数进行融合处理， 得到路侧融合结果， 并对 所述一级融合结果和所述路侧融合结果进行融合， 得到二级融合结果； 第三处理模块， 用于获取来自多个路侧单元的二级融合结果， 并对所述来自多个路侧 单元的二级融合结果进行融合， 得到三级融合结果， 将所述三级融合结果下发至 自动驾驶 车辆， 其中， 所述自动驾驶车辆将所述第三融合结果作为 最终感知结果。 8.如权利要求7 所述的装置， 其特 征在于， 所述第一获取模块， 还用于： 利用点云检测分割技术和/或图像检测分割技术从点云图和/或图像中分别提取障碍权　利　要　求　书 2/3 页 3 CN 114998860 A 3