(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210383330.8 (22)申请日 2022.04.12 (71)申请人 华南理工大 学 地址 510640 广东省广州市天河区五山路 381号 (72)发明人 秦华标　王妍　 (74)专利代理 机构 广州粤高专利商标代理有限 公司 44102 专利代理师 江裕强 (51)Int.Cl. G06K 9/62(2022.01) G06V 10/32(2022.01) G06V 10/40(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于点云特征增强的多任务三维目标 检测方法 (57)摘要 本发明公开了一种基于点云特征增强的多 任务三维目标检测方法。 所述方法构建以三维目 标检测为主任务， 二维目标检测为辅助任务的多 任务三维目标检测网络， 并利用图像特征增强点 云特征， 包括以下步骤： 构建三维目标检测模型， 包括图像分支、 点云分支、 特征增强模块、 二维目 标检测头和三维目标检测头； 获取训练数据， 对 三维目标检测模 型进行训练， 得到训练好的三维 目标检测模 型； 对训练好的三维目标检测模型进 行调整， 输入待检测数据， 得到三维目标检测框。 本发明能够在完成二维目标检测时有效提升三 维目标检测网络的准确率。 权利要求书3页 说明书8页 附图2页 CN 115238758 A 2022.10.25 CN 115238758 A 1.一种基于点云特 征增强的多任务 三维目标检测方法， 其特 征在于， 包括以下步骤： S1、 构建三维目标检测模型， 包括图像分支、 点云分支、 特征增强模块、 二维目标检测头 和三维目标检测头； S2、 获取训练数据， 对三维目标检测模型进行训练， 得到训练好的三维目标检测模型； S3、 对训练好的三维目标检测模型进行调整， 输入待检测数据， 得到三维目标检测框 。 2.根据权利要求1所述的一种基于点云特征增强的多任务三维目标检测方法， 其特征 在于， 步骤S1中， 所述图像 分支包括顺次连接的图像预 处理模块、 图像特征提取模块和图像 特征融合模块； 图像分支的输入为二维图像数据， 通过图像预处理模块获得尺寸为H ×W的输入图像， 将输入图像输入图像特征提取模块获得四个不同尺寸的图像特征， 再通过图像特征融合模 块对不同尺寸的图像特 征进行反卷积， 最终得到尺寸 为H×W的融合图像特 征。 3.根据权利要求2所述的一种基于点云特征增强的多任务三维目标检测方法， 其特征 在于， 所述图像特征提取模块包括顺次连接的第一卷积块、 第二卷积块、 第三卷积块和第四 卷积块， 其中， 第一卷积块的输入为图像预 处理模块输出的尺寸为H ×W的输入图像， 输出为 尺寸为H/2×W/2的第一图像特征， 依次类推， 第二卷积块、 第三卷积块和第四卷积块分别得 到尺寸为H/4 ×W/4、 H/8×W/8和H/16 ×W/16的第二图像特征、 第三图像特征和第四图像特 征； 所述图像特征融合模块对第一图像特征、 第二图像特征、 第三图像特征和第 四图像特 征分别采用不同参数的反卷积得到四个尺寸为H ×W的反卷积特征图， 再将四个尺寸为H ×W 的反卷积特 征图进行拼接， 最后输入3 ×3卷积， 获得尺寸 为H×W融合图像特 征。 4.根据权利要求3所述的一种基于点云特征增强的多任务三维目标检测方法， 其特征 在于， 步骤S1中， 所述点云分支包括顺次连接的点云预 处理模块、 点云特征提取模块和点云 特征传播模块； 点云分支的输入为三维点云坐标数据， 通过点云预处理模块对输入的三维 点云坐标数据进行预处理获得N个特征点坐标， 得到包括N个特征点坐标的特征点集合， 将 特征点集合输入点云特征提取模块得到包括不同数量特征点的第一点云特征、 第二点云特 征、 第三点云特征和 第四点云特征， 再通过点云特征传播模块进 行上采样得到N个特征点的 上采样点云特 征。 5.根据权利要求4所述的一种基于点云特征增强的多任务三维目标检测方法， 其特征 在于， 所述点云特征提取模块包括顺次连接的第一多层感知 模块、 第二多层感知 模块、 第三 多层感知模块和第四多层感知模块； 所述特征增强模块包括第 一特征融合模块、 第 二特征融合模块、 第三特征融合模块、 第 四特征融合模块和第五特 征融合模块； 第一多层感知模块的输入为N个特征点坐标的特征点集合， 输出为N/4个点的第一点云 特征及对应坐标； 第一特征融合模块接收第一卷积块和第一多层感知模块输出的第一图像特征和第一 点云特征， 进行特征融合， 输出第一融合特 征至第二多层感知模块； 第二多层感知模块的输入为N/4个特征点坐标的特征点集合以及第一融合特征， 输出 为N/16个点的第二 点云特征及对应坐标； 第二特征融合模块接收第二卷积块和第二多层感知模块输出的第二图像特征和第二权　利　要　求　书 1/3 页 2 CN 115238758 A 2点云特征， 进行特征融合， 输出第二融合特 征至第三多层感知模块； 第三多层感知模块的输入为N/16个特征点坐标的特征点集合以及第二融合特征， 输出 为N/64个点的第三 点云特征及对应坐标； 第三特征融合模块接收第三卷积块和第一多层感知模块输出的第三图像特征和第三 点云特征， 进行特征融合， 输出第三融合特 征至第四多层感知模块； 第四多层感知模块的输入为N/64个特征点坐标的特征点集合以及第三融合特征， 输出 为N/256个点的第四点云特 征及对应坐标； 第四特征融合模块接收第四卷积块和第四多层感知模块输出的第四图像特征和第四 点云特征， 进行特征融合， 输出第四融合特 征至点云特 征传播模块； 第五特征融合模块接收图像特征融合模块和点云特征传播模块输出的融合图像特征 和上采样点云特 征， 进行特征融合， 输出第五融合特 征至三维目标检测头 。 6.根据权利要求5所述的一种基于点云特征增强的多任务三维目标检测方法， 其特征 在于， 第一特征融合模块、 第二特征融合模块、 第三特征融合模块、 第四特征融合模块和第 五特征融合模块中， 特 征融合具体包括以下操作： S1.1、 根据雷达与相机坐标系之间的转换关系， 将点云特征中的三维特征点投影到图 像特征的图像上， 获得点云特 征中的三维特 征点对应的二维图像点 坐标； S1.2、 使用图像采样器对二维图像点周围的点进行采样， 得到图像特 征点集合； S1.3、 使用双线性插值获得图像特征点集合对应的图像特征集合， 对图像特征集合中 的图像特 征进行加权求和， 得到三维特 征点的图像 语义特征； S1.4、 利用全连接层将点云特征与对应的图像语义特征映射到相同通道， 逐点相加， 再 通过激活函数 得到图像特 征权重W； S1.5、 将点云特征与带权重的图像特征拼接获得融合后的特征， 将融合后的特征输入 全连接层， 获得最终的融合特 征。 7.根据权利要求1所述的一种基于点云特征增强的多任务三维目标检测方法， 其特征 在于， 步骤S1中， 所述二维目标检测 头的输入为图像分支输出的尺寸为H ×W的融合图像特 征， 然后利用3 ×3卷积对融合图像特征进行降采样， 获得尺寸为H/4 ×W/4的降采样图像特 征， 再将降采样图像特征分别送入三个相同结构的检测头， 三个检测头的输出分别为尺寸 为C×H/4×W/4、 2×H/4×W/4和2×H/4×W/4的中心点特征图、 中心点偏移量特征图和目标 尺寸特征图， 其中， C为检测目标种类数量； 对中心 点特征图、 中心 点偏移量特征图和目标尺 寸特征图进行编码得到最终的二维检测框； 中心点特征图上每个点的值代表该点为目标中心点的概率， 每个类别对应一个中心点 特征图； 中心点偏移 量特征图上每个点的值代表该点为目标中心点时由于图像尺寸降采样 导致的坐标偏移 量； 目标尺寸特征图上每个点的值代表该点为目标中心 点时被检测目标的 宽高； 对于中心点特征图， 使用3 ×3最大池化获得局部峰值点坐标， 对局部峰值点的值排 序， 获得值最大的K个点， 即为目标中心点； 最后， 根据中心点坐标， 获得该点的偏移量以及 对应目标的宽高， 获得最终的二维检测结果。 8.根据权利要求1所述的一种基于点云特征增强的多任务三维目标检测方法， 其特征 在于， 步骤S1中， 所述三 维目标检测头将点云特征传播模块得到的N个特征点的上采样点云 特征输入三维检测头， 得到最终三维预测框 。权　利　要　求　书 2/3 页 3 CN 115238758 A 3