(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210446524.8 (22)申请日 2022.04.26 (71)申请人 电子科技大 学 地址 611731 四川省成 都市高新区 （西区） 西源大道 2006号 (72)发明人 王章静　黄振　曹敏　刘陈浩　 仇隆　 (74)专利代理 机构 电子科技大 学专利中心 51203 专利代理师 邹裕蓉 (51)Int.Cl. G06V 20/64(2022.01) G06V 10/26(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06K 9/62(2022.01) G01S 13/86(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于单目视觉和雷达伪图像融合的三 维目标检测方法 (57)摘要 本发明公开了一种基于单目视觉和雷达伪 图像融合的三维目标检测方法， 包括步骤： 获取 单目视觉和毫米波雷达点云数据对图像进行语 义分割获取目标的二维边框与像素点分类得分； 对初始毫米波雷达点云数据进行预处理操作； 基 于雷达点云和图像语义分割信息生成语义雷达 伪图像； 将 视觉图像和语义雷达伪图像 分别输入 到卷积神经网络中进行特征融合； 将融合特征图 输入到检测网络中回归 得到三维目标信息。 本发 明将光学图像与毫米波雷达点云信息进行有效 融合， 在雷达信息中加入图像分割所得的语义信 息在与视觉进行融合， 解决雷达点云缺少纹理信 息的问题， 实现两种模态信息的优势互补， 具有 提高三维目标检测系统准确率和鲁棒 性的优点。 权利要求书2页 说明书7页 附图2页 CN 115082924 A 2022.09.20 CN 115082924 A 1.一种基于单目视觉和雷达伪图像融合的三维目标检测方法， 其特征在于， 包括以下 步骤： 从毫米波雷达处获取初始毫米波雷达点云数据； 同时， 从光学相机处获取单目视觉 图 像； 对初始毫米波雷达点云数据进行预处理操作得到雷达点云数据； 同时， 对单目视觉 图 像进行语义分割获取图像语义分割 结果； 图像语义分割 结果包括 目标的二维边框、 像素级 分割的掩码和每 个像素的分类得分； 基于雷达点云数据和图像 语义分割结果 生成语义雷达伪图像； 将单目视 觉图像和语义雷达伪图像进行 特征提取与融合得到融合特 征图； 将融合特 征图输入到检测网络中得到三维目标信息； 其中， 对初始毫米波雷达点云数据的预处理主要包括数据解析、 空间 同步、 目标关联和 雷达伪图像生成； 数据解析获取雷达点云在空间中的三维坐标信息[x,y,z]以及目标相对毫米波雷达的 径向运动速度 在x与y方向的速度分量[vx,vy]， 然后将毫米波雷达 点云数据中的每个 点表示 为[x,y,z,vx,vy]； 以世界坐标系作为参照坐标系， 分别获得光学相机和毫米波雷达的外参系数； 使用张 正友标定法获取光学相机的内参系数； 通过外参系数和内参系数的联合标定对毫米波 雷达 和光学相机进行配准实现毫米波雷达和光学相机的空间同步； 将雷达点云坐标从毫米波雷达坐标系转换到相机坐标系并投影到图像平面上， 再利用 语义分割得到的掩码对已经投影到图像平面的雷达点云进 行过滤， 将投影到图像平面的雷 达点云与掩码进行按位与操作， 再保留下 的非0的点云信息与单目视觉图像通过图像语义 分割确定的目标进行匹配， 从而完成关联； 最后将雷达点云所在位置的像素点分类得分附加到雷达点云上以获得语义雷达点云 数据， 此时雷达点云的每个点表示为[x,y,d,vx,vy,s]， 其中， x,y为雷达点云在空间中的三 维位置信息中的x与y方向的值， vx,vy表示目标相对毫米波雷达的径向运动速度 在x与y方向 的速度分量， 即纵向速度vx、 横向速度vy， d代表相机 坐标系下目标的深度， s为 该像素点的分 类得分。 2.根据权利要求1所述方法， 其特征在于， 图像语义分割得到的像素级分割的掩码再通 过GrabCut算法来去除掩码中多余的背景信息， 最后将[0,1]掩码转换为[0,25 5]掩码。 3.根据权利要求1所述方法， 其特征在于， 基于雷达点云数据和图像语义分割结果生成 语义雷达伪图像的具体步骤为： 先通过直通滤波删除深度超过最远探测距离以及小于预设过近 阈值的雷达点云， 再对 按照距离从小 到大对雷达 点云进行排序， 将每个雷达 点云中的纵向速度vx、 横向速度vy和深 度d分别转换三个通道的像素值与视觉图像尺寸相同的三通道雷达伪图像； 再在三通道雷 达伪图像的基础上添加与分类类型数量一致的通道形成语义雷达伪图像， 其中每个添加的 通道包含了雷达点云对应 像素点在该分类 类型上的分类得分。 4.根据权利要求3所述方法， 其特征在于， 添加与分类类型数量一致的通道的具体方法 为： 在直通滤波后的雷达点云中以其所在位置为中心绘制矩形框， 在每个矩形框范围内填权　利　要　求　书 1/2 页 2 CN 115082924 A 2充该雷达点云的信息， 矩形框范围内的像素值与矩形边界的值相同， 矩形框范围外像素值 均填充为0， 当矩形框出现重叠时， 提取深度更小的雷达点云作为该位置的像素值， 最后在 矩形框范围内填充对应雷达雷达点云携带的像素点分类得分。 5.根据权利要求3所述方法， 其特征在于， 将每个雷达点云中的纵向速度 vx、 横向速度vy 和深度d分别转换三个通道的像素值的方法为： fc＝αc·xc+βc 其中c的取值为纵向速度vx、 横向速度vy或深度d， fc代表相机坐标系下纵向速度vx、 横向 速度vy或深度d经转换后在 雷达三通道图像中像素值fvx， fvy， fd， αc为归一化化因子， βc为修 正值。 6.根据权利要求5所述方法， 其特征在于， βc为127， 计算fvx， fvy， fd所对应的归一化化因 子αc分别为： 7.根据权利要求3所述方法， 其特 征在于， 最远探测距离为3 0米， 过近阈值 为0.5米。权　利　要　求　书 2/2 页 3 CN 115082924 A 3