(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210340978.7 (22)申请日 2022.04.02 (71)申请人 华南理工大 学 地址 510640 广东省广州市天河区五山路 381号 (72)发明人 毛爱华　陈婉昕　 (74)专利代理 机构 广州市华学知识产权代理有 限公司 4 4245 专利代理师 黄卫萍 (51)Int.Cl. G06V 20/64(2022.01) G06V 10/762(2022.01) G06V 10/764(2022.01) G06V 10/766(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于上下文感知特征聚集的3D目标检 测方法 (57)摘要 本发明公开了一种基于上下文感知特征聚 集的3D目标检测方法， 步骤如下： S1、 提取输入点 云的局部特征点集并预测坐标和特征偏移量； S2、 根据投票操作形成的特征聚类生成优化后的 搜索半径； S3、 根据步骤S2中的优化后的搜索半 径生成语义特征； S4、 根据步骤S3中的语义特征 进行3D目标的检测框分类和回归任务得到具有 3D检测框的最终输出结果。 与现有技术相比， 本 发明的目标检测方法能在保持网络轻量级的同 时， 提升了目标检测任务的精度， 达到理想的目 标检测效果。 权利要求书4页 说明书11页 附图1页 CN 114882495 A 2022.08.09 CN 114882495 A 1.一种基于上下文感知特征聚集的3D目标检测方法， 其特征在于， 所述3D 目标检测方 法包括以下步骤： S1、 提取输入点云的局部特 征点集并预测坐标和特 征偏移量， 过程如下： S101、 提取输入点云的局部特 征点集； S102、 预测 局部特征点集中特征点的坐标和特 征偏移量； S103、 使用局部特征点集中特征点的坐标和特征偏移量进行坐标和特征的投票操作， 形成特征聚类； S2、 根据投票操作形成的特 征聚类生成优化后的搜索半径， 过程如下： S201、 对投票后的特 征聚类进行采样 操作得到一组聚类中心点X； S202、 对每 个聚类中心点X进行搜索得到对应的一组强关键点 集； S203、 将每组强关键点集的特征进行聚合来预测搜索半径的偏移量， 生成优化后的搜 索半径； S3、 根据步骤S2中生成的优化后的搜索半径生成语义特 征， 过程如下： S301、 根据该优化后的搜索半径重新对每个聚类中心进行自适应半径的最近邻搜索得 到新的一组关键点 集； S302、 基于新得到的关键点 集进行特征聚合操作， 得到语义特 征； S4、 根据步骤S3中的语义特征进行3D目标的检测框分类和回归任务得到具有3D检测框 的最终输出 结果， 过程如下： S401、 根据语义特 征， 利用多层感知机检测框分类和回归， 得到中间结果向量； S402、 解码中间结果向量， 得到一组冗余的3D检测框； S403、 对冗余的3D检测框进行去冗余处 理， 得到无冗余的3D检测框的最终输出 结果。 2.根据权利要求1所述的一种基于上下文感知特征聚集的3D 目标检测方法， 其特征在 于， 步骤S101中， 采用通用的最远点采样策略， 对原始 点云进行采样得到输入数量一致的点 云； 使用点云深度学习网络 工具PointNet++作为骨干网络提取局部特 征点。 3.根据权利要求1所述的一种基于上下文感知特征聚集的3D 目标检测方法， 其特征在 于， 步骤S102中， 使用多层感知机预测局部特征点集中特征点的坐标和特征偏移量， 将 PointNet++采集的特 征点输入多层感知机得到所有特 征点坐标偏移量和特 征偏移量。 4.根据权利要求1所述的一种基于上下文感知特征聚集的3D 目标检测方法， 其特征在 于， 步骤S10 3中， 局部特 征点集中特征点的坐标投票操作定义如下： 其中， 表示预测的第i个点的坐标偏移量， 表示经过投票后的局部特征点集 中特征点坐标,pi表示投票前的特 征点坐标； 局部特征点集中特征点的特 征投票操作定义如下： 其中， fi表示投票前提取的局部特征， 表示预测的特征偏移量， 表示经过 投票后的局部特 征； 对投票后的局部特征点集中特征点计算误差损失函数作为监督信号， 所述误差损失函权　利　要　求　书 1/4 页 2 CN 114882495 A 2数定义如下： Lossvote＝Dist(C,G) 其中， Dist( ·)表示计算给定点集之间的欧式距离， C表示投票后得到的局部特征中特 征点集， G表示聚类中心点对应的真实物体中心构成的点 集； 对局部特征进行投票操作时， 采用基于投票方向的矢量损 失函数作为额外监督信号， 其中， 基于投票方向的矢量损失函数定义如下： 其中， Smo othL1(·)表示L1平滑损失函数： ui＝Norm(gi‑pi)， ui,j表示ui的第j维值， 表示期望的投票方向矢量， gi表示真实物体中 心点坐标， x,y表示 参与运算的两个自然数， N orm(·)表示归一 化操作： ||x||表示对x求范数， 表示预测的投票方向矢量， vi,j表示vi第j维 值。 5.根据权利要求1所述的一种基于上下文感知特征聚集的3D 目标检测方法， 其特征在 于， 步骤S201中， 对投票后的特 征点进行通用的最远点采样 操作得到一组聚类中心点X。 6.根据权利要求1所述的一种基于上下文感知特征聚集的3D 目标检测方法， 其特征在 于， 步骤S202中， 使用固定半径r对每个聚类中心点X进行最邻近搜索得到对应的一组强关 键点集。 7.根据权利要求1所述的一种基于上下文感知特征聚集的3D 目标检测方法， 其特征在 于， 步骤S203中， ， 使用多层感知机和最大池化层将每组强关键点集的特征进行聚合， 从而 预测搜索半径的偏移 量， 生成优化后的搜索半径。 定义如下半径损失函数进行监督学习， 并 采用梯度下降法进行反向传播； 半径损失函数定义如下： Lossradii＝Losspos‑radii+Lossneg‑radii 其中， Losspos‑radii＝Norm(mask ×SmoothL1( μr+varr,gr))表示有效检测框对应的半径 损失值， mask表示正负样本的二进制掩码， 用于标注过滤有效检测框， 均值 μr＝Mu(Dist(S, G))， S表示最近邻搜索得到的关键点集所对应的投票前坐标点集， G表 示聚类中心 点对应的 真实物体中心构成的点集， Mu( ·)表示计算给定一组数据的均值， 方差varr＝Var(Dist(S, G ) ) ，V a r ( ·) 表 示 计 算 给 定 一 组 数 据 的 方 差 ，期 望 的 搜 索 半 径 值 l、 w、 h分别表示检测框所表示的长方体的长、 宽、 高， Lossneg‑radii＝( μr+varr)×(1‑mask)表示无效检测框对应的半径损失值。 8.根据权利要求1所述的一种基于上下文感知特征聚集的3D 目标检测方法， 其特征在 于， 步骤S401中， 使用多层感知机进行检测框的分类和回归得到一个中间向量， 包含分类和 回归参数。权　利　要　求　书 2/4 页 3 CN 114882495 A 3