(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210405262.0 (22)申请日 2022.04.18 (71)申请人 上海交通大 学 地址 200240 上海市闵行区东川路80 0号 (72)发明人 田钰康　梁晓峣　景乃锋　官惠泽　 (74)专利代理 机构 上海光华专利事务所(普通 合伙) 31219 专利代理师 庞红芳 (51)Int.Cl. G06N 3/04(2006.01) G06N 3/08(2006.01) G06K 9/62(2022.01) G06F 17/16(2006.01) G06F 9/50(2006.01) (54)发明名称 点云神经网络模型优化结构及电子设备 (57)摘要 本发明提供一种点云神经网络模型改进结 构及电子设备， 在所述点云神经网络模型结构 中： 将采样层分为两个阶段： 计算距离矩阵阶段 与选点阶段； 聚类层根据距离矩阵选取中心点的 临近点； 根据空间距离的最远点采样改进多层SA 模块。 本发 明通过更改神经网络结构和神经网络 中某些算子的计算方式， 达到加速神经网络计算 的效果， 是对点云神经网络的一种比较通用的加 速， 可以适配多种点云神经网络 。 权利要求书1页 说明书8页 附图3页 CN 114819071 A 2022.07.29 CN 114819071 A 1.一种点云神经网络模型优化结构， 其特 征在于： 在所述 点云神经网络模型 结构中： 将采样层分为两个阶段： 计算距离矩阵阶段与选点阶段； 聚类层根据距离矩阵选取中心点的临近点； 根据空间距离的最远点采样改进 多层SA模块。 2.根据权利要求1所述的点云神经网络模型优化结构， 其特征在于： 所述计算距离矩阵 阶段与选点阶段包括： 计算距离阶段采用并行的方式获得所有点与点之间的距离矩阵， 再将所述距离矩阵送 入所述选点阶段进行最远点采样， 同时将所述距离矩阵保留在内存中， 以为需要使用距离 的算子进行复用。 3.根据权利要求2所述的点云神经网络模型优化结构， 其特征在于： 在计算所述距离矩 阵之前， 将计算所用的点 集数据分两次传入， 一次为原 始数据， 一次为 转置后的数据。 4.根据权利要求2所述的点云神经网络模型优化结构， 其特征在于： 转置后 点集数据按 照块， 通道， 输入点 集中点的数目的维度顺序排列。 5.根据权利要求2或3所述的点云神经网络模型优化结构， 其特征在于： 在计算距离阶 段中， 将所述距离矩阵分解 为多个子块， 每 个线程块负责其中一个子块。 6.根据权利要求2所述的点云神经网络模型优化结构， 其特征在于： 所述根据距离矩阵 选取中心点的临近点包括： 将所述计算距离矩阵阶段的计算结果和所述选点阶段的计算结果均传入聚类层， 根据 所述距离矩阵中的数据进行聚类。 7.根据权利要求6所述的点云神经网络模型优化结构， 其特征在于： 将所述选点阶段的 中心点索引 传入所述聚类层， 将所述计算距离矩阵阶段的距离矩阵传入所述聚类层； 所述 聚类层在选择点时通过 先查阅距离矩阵， 然后根据设定的半径将临近点选择 出来。 8.根据权利要求6所述的点云神经网络模型优化结构， 其特征在于： 所述 聚类层中包括 第一算子和第二算子； 所述第一算子接受两个输入： 距离矩阵和中心 点索引， 并根据设定的 半径范围， 从所述距离矩阵中搜索符合条件的点； 所述第二算子根据点的索引从点集中提 取点的坐标， 并输入聚类层中的特 征提取部分。 9.根据权利要求1所述的点云神经网络模型优化结构， 其特征在于： 所述根据空间距离 的最远点采样改进多层SA模块包括： 引用上一层 采样的结果， 选取其中排列相对靠前的点， 以省略计算。 10.一种电子设备， 其特征在于： 包括存储器， 用于存储计算机程序； 处理器， 用于运行 所述计算机程序以实现如权利要求1至权利要求9任一权利要求所述的点云神经网络模型 结构。权　利　要　求　书 1/1 页 2 CN 114819071 A 2点云神经网络模型优化结构及电子 设备 技术领域 [0001]本发明涉及神经网络技 术领域， 特别是 涉及点云神经网络技 术领域。 背景技术 [0002]近年来随着人工智能的迅速发展， 神经网络技术已被广泛地运用于各个领域， 也 诞生出许多不同的形式。 点云神经网络作为其中的一种， 也可被应用于诸如自动驾驶等多 个领域。 不同于传统的卷积神经网络， 点云神经网络的作用对 象并不是规整的网格型数据 结构， 而是三维空间中排列不规则的点集。 因此对点集的处理是点云神经网络的一个关键 内容。 [0003]目前点云神经网络的主流算法是由PointNet++提出的。 PointNet++网络对点云直 接以点的数据形式进 行处理， 通过对点的采样和聚集并且对聚集后的点进 行特征提取来完 成最后的目标检测等任务。 后续的算法以此为基础， 对点集的处理基本上沿袭了PointNet+ +的处理方式， 并进行了不同程度的改进。 然而在实验过程中发现， 这些网络的对点集的处 理部分， 存在着 计算速度较慢的问题。 因为其网络结构的 限制， 使得神经网络中的某些算子 无法充分地利用GPU的计算资源， 并且因为网络中某些数据无法重复利用， 导致神经网络的 计算速度偏慢， 这 点在神经网络的推理阶段 尤为明显 。 [0004]PointNet++提供了点云神经网络的一些开创性的设计。 目前PointNet++提出了一 种多层次特征提取结构来处理点集数据， 这套方法也是现在基于点集的点云神经网络中比 较通用的做法。 下面将介绍Po intNet++的具体结构。 [0005]PointNet++是由PointNet改进而来。 在PointNet中， 作者给出了提取无序点集特 征的方法， 然而PointNet存在的一个缺点是无法获得局 部特征， 这使得它很难对复杂场景 进行分析。 PointNet++在此基础上进行改进， 通过层级地对点进行聚类并且对 聚类后的点 集进行特征提取， 每层逐步地扩大聚类与抽象的范围， 使得整个网络 收集到从小到大 的精 细结构区域的特 征向量。 [0006]对于每一层， 作者将其称之为SA(Set  Abstraction)模块。 每个模块分成三个部 分， 流程为采样， 聚类， 特征提取。 采样要做的事情是从点集中挑选出具有代表 性的中心 点。 在PointNet++中， 作者用的方法是根据每个点之间的相互距离， 选取相对距离最远的点， 采 样出的点构成一个新点集， 这种方法称之为最远点采样。 具体流程如下： 首先随机选出一个 初始点放入新点集， 然后对于原点集中的每一个点， 计算出该点到新点集的距离， 然后选择 距离最远的点加入新点集。 这里点到新点集的距离为该点到新点集中的每一个点的距离中 的最小值。 以此迭代直到采样出 目标数量的点。 在PointNet++中距离仅仅考虑点与点之间 的空间距离。 通过最远点采样选择出具有代表性的中心点， 将这些中心点送到下一步进行 聚类。 [0007]聚类做的便是根据采样得到 的中心点点集， 再依据设定 的半径值， 找到中心点周 围的临近点进行聚类， 构成新的点集。 如此， 便得到了若干个局部区域的点集。 再将这些点 集进行特征提取， 以获得 更好的局部特 征。说　明　书 1/8 页 3 CN 114819071 A 3