(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210562458.0 (22)申请日 2022.05.23 (71)申请人 北方民族大 学 地址 750021 宁夏回族自治区银川市西夏 区文昌北街204 号 (72)发明人 白静　邵会会　 (74)专利代理 机构 广州市华学知识产权代理有 限公司 4 4245 专利代理师 冯炳辉 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/44(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06V 10/46(2022.01)G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于信息增强的细粒度三维点云分类 方法 (57)摘要 本发明公开了一种基于信息增强的细粒度 三维点云分类方法， 针对点云数据及细粒度分类 任务的关键， 通过层内上下文感知和层间相关性 增强两个层面共同考虑细粒度信息的捕捉。 层内 利用偏置注意力加强局部区域细粒度属性差异 性以感知局部细节； 层间设计密集连接的多层特 征融合策略， 一方面提高有效信息的保留与传 递， 另一方面通过计算各层特征间的二阶统计分 布来增强各层之间相关性。 层内与层间相辅相 成， 通过反向传播学习相关语义信息以捕捉细粒 度属性。 本发明在细粒度三维模型数据集FG3D的 三个子数据集Airplane、 Chair和Car上进行实 验， 分别取得了95.77％、 80.88％和77.94％分类 准确率， 验证 了本方法的可 行性及有效性。 权利要求书2页 说明书7页 附图2页 CN 114882285 A 2022.08.09 CN 114882285 A 1.一种基于信息增强的细粒度三维点云 分类方法， 其特 征在于， 包括以下步骤： S1、 选用本领域权威性细粒度的三维网格模型数据 集FG3D的三个子数据 集： Airplane、 Car和Chair作为基准， 对三个子数据集中三维网格模型进行初步采样处理， 生成相应的三 维点云数据集； S2、 对三维点云数据集中的模型进行随机采样得到初步的点云数据， 随后利用球邻域 查询方法将点云数据进行划分， 获得相互重 叠的局部区域； S3、 针对局部区域， 构建一种局部区域的特征提取网络， 该网络主要由两部分组成： 基 于偏置注意力机制的单层特 征提取模块和基于密集连接的多层特 征融合模块； S4、 在基于偏置注意力机制的单层特征提取模块中， 采用具有全局对称性的偏置注意 力机制操作得到增强的层内局部细节信息； S5、 将层内局部细节信息输入到基于密集连接的多层特征融合模块， 使用密集连接方 法， 最大化 点云信息流保证层内局部细节信息的传递， 得到若干个紧密连接的层级特 征； S6、 将获得的层级特征进行交互融合， 得到交互后的特征描述符， 并将特征描述符拼接 后进行压缩感知来预测类别， 从而实现细粒度三维点云的分类。 2.根据权利要求1所述的一种基于信 息增强的细粒度三维点云分类方法， 其特征在于： 在步骤S1中， 生 成的三维点云数据集， 每个数据集按照比例划分为训练集和测试集， 且数据 集中的每 个模型的坐标被归一 化至单位球[ ‑1， 1]区间内。 3.根据权利要求1所述的一种基于信 息增强的细粒度三维点云分类方法， 其特征在于： 在步骤S2中， 对三维点云数据集中的模型利用随机采样法进行低分辨率采样， 并根据点云 的数量和球半径的设置以球邻域 查询的方法生成若干个相互重 叠的局部区域。 4.根据权利要求1所述的一种基于信 息增强的细粒度三维点云分类方法， 其特征在于： 在步骤S3中， 所述基于偏置注意力机制的单层特征提取模块在每层内使用偏置注意力机 制， 衡量层内的上下文语义关联关系， 并突出局部细粒度属性； 所述基于密集连接的多层特 征融合模块采用密集连接和融合策略， 加强层 间的细粒度属 性的传递与保留， 并捕捉特征 之间的相关性。 5.根据权利要求1所述的一种基于信 息增强的细粒度三维点云分类方法， 其特征在于： 在步骤S4中， 对于基于偏置注意力的单层特征提取模块， 针对第l+1层， 输入： 上一层特征 表示实数集， n代表采样点数， C1为输入通道数； 输出： 局部感知特征 由映射函数 χ(·)定义， kattl+1为输出通道数； 其整个流 程如下： a、 构建局 部区域及初始特征： 输入Pl， 经过球邻域查询构建局 部区域， 深化其对细粒度 属性的敏感性， 将各个局部区域的特征聚合得到局部采样n ×Cl×nsample， 其中Cl和nsample分 别为第l层通道数、 采样点数； 然后在采样点数nsample上执行池化操作后送入单层感知机 SLP， 得到局部 显著特征 Q为此时的通道数， 以此实现浅层特 征的对齐； b、 提取抽象特征： 将上一步所得特征PGl+1通过单层感知机SLP完成通道数从Q到k的映 射， k＜Q， 提取三维点云的抽象特 征 该特征包含了局部空间信息， 具有局部属性； c、 构造注意力矩阵： 采用卷积运算对 沿通道维度整合各点特征信息， 得到n ×k/4的 特征 与 对这两个特征通过矩阵相乘方式获得空间点相关性矩阵， 再经过激活权　利　要　求　书 1/2 页 2 CN 114882285 A 2函数将相关性取值映射至 0～1范围内， 形成注意力矩阵M， 计算过程表示 为： 式中， σ(·)为激活函数， 为矩阵相乘； 注意力矩阵的内部元素Mij表示第i点和第j点的统计相关性； 则， 第i行刻画了第i点和 任意其它空间点的统计相关性； d、 计算显著特征： 采用卷积运算沿通道维度对特征 做变换得到嵌入空间特征 再将前面得到的注意力矩阵M作用于嵌入空间特征 获得的显著特征Psalient， 表示为： 6.根据权利要求1所述的一种基于信 息增强的细粒度三维点云分类方法， 其特征在于： 在步骤S5中， 对于多层特征融合模块中的密集连接块， 输入特征为P0， 其维度为n ×C0， C0密 集连接块中第一层的通道数， 则密集连接块中每层的点云数均为n， 即 其 中 和 分别代表密集连接块中第一层和第l层的点云数。 第l+1层的输出为融合了0～l 各层特征信息的复合特 征， 其过程 递归定义表示 为： 式中， (·，·)为拼接操作， l的范围为0～H ‑1， H为密集连接块的总层数， 第l+1层的通 道数Cl+1＝C0+katt1+…+kattl+1， 其中katt1和kattl+1分别为第一层和第l层的局部感知特征的通 道数， 第l+1层的特征由上一层特征Pl与当前层捕捉了局 部显著特征 拼接而成； 通过多 层递归， 最后一层特征PH包含了0～H ‑1所有层级的信息， 全面捕捉上下文特征并保证信息 的传递。 7.根据权利要求1所述的一种基于信 息增强的细粒度三维点云分类方法， 其特征在于： 在步骤S6中， 在经过密集连接完成信息传递之后， 利用双线性计算方法融合各层特征以探 索层间的相关性， 具体的， 以各层特征作为输入， 利用两个卷积运算实现特征对齐， 然后计 算特征间二阶统计分布即双线性计算， 生成具有空间相关信息的特征描述符， 最后， 将各特 征描述符拼接后进行压缩感知来聚合相关性特 征， 进而预测类别。权　利　要　求　书 2/2 页 3 CN 114882285 A 3