(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210156495.1 (22)申请日 2022.02.21 (71)申请人 辽宁师范大学 地址 116000 辽宁省大连市沙河口区黄河 路850号 (72)发明人 韩丽　兰鹏燕　石雪　王晓旻　 何金海　 (74)专利代理 机构 大连非凡专利事务所 212 20 专利代理师 闪红霞 (51)Int.Cl. G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06V 10/80(2022.01) G06K 9/62(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于局部几何与全局结构联合学习的3D图 卷积分类方法 (57)摘要 本发明公开一种基于局部几何与全局结构 联合学习的3D图卷积分类方法， 是将待分类的3D 模型输入至分类模型中进行分类， 所述分类模型 是依次按照如下步骤建立： 用多层感知机mlp为 模型提取底层特征， 包括采集关键点、 找关键点 邻域及提取特征； 在所采集关键点的基础上更新 采样点及邻域， 构建局部谱图， 并借助切比雪夫 多项式来近似 卷积核进行局部的谱图卷积； 在所 采集关键点的基础上通过均匀采样得到关键点， 计算特征间余弦相似度构造全局谱图， 借助切比 雪夫多项式来近似卷积核进行全局的谱图卷积； 运用自适应权值计算， 对每层网络提取的特征进 行融合； 训练模型并通过反向传播进行优化， 最 终得到分类模型。 权利要求书2页 说明书5页 CN 114565774 A 2022.05.31 CN 114565774 A 1.一种基于局部几何与全局结构联合学习的3D图卷积分类方法， 是将待分类的3D模型 输入至分类模型中进行分类， 其特 征在于所述分类模型 是依次按照如下步骤建立： a.用多层感知机mlp为模型提取底层特 征 a.1采集关键点： 输入点云模型Bx1024x3， 运用最远点采样法从1024个点里采集512个 样点为关键点， 得到Bx512x3维度的关键点 集合； a.2找关键点邻域： 以每个关键点为中心， 以0.2为半径， 运用Ball  Query方法， 查找每 个关键点周围的32个最近邻居点， 即获得关键点邻域； a.3提取特征： 以每个关键点邻域为单位， 构造三层mlp学习层， 依次得到64、 64、 128维 度的特征， 所得128维度的特 征即底层特 征Cm； b.提取局部谱图卷积层特 征 b.1令M个关键点为a.1步骤所得512个关键点， P个样点为128个样点， K个最近邻居点为 32个最近邻居点； b.2运用最远点采样法从M个关键点中采集P个样点； b.3以每个样点为 中心， 运用Ball  Query方法， 为每个样点查找周围的K个最近邻居点， 构成邻居点 集合{xi}， i＝1,2,3……K； b.4计算邻居点xi与其它邻居点xj坐标之间的欧式距 离， 得到邻接矩阵A＝di st(xi,xj)， 所述j＝1,2,3 ……K且j≠i； 基于邻接矩阵A计算拉普 拉斯矩阵， Llocal＝I‑D‑1/2A D‑1/2， 其中 I是单位矩阵， D∈Rkxk是对角度矩阵， 所述拉普拉斯矩阵即局部谱图Llocal； b.5运用切比雪夫多项式展开来近似卷积核gθ， 按照公式 构 建局部谱图卷积， 式中fl为输入特征,Wl是可学习的权重矩阵， σ( ·)为ReLU函数； gθ(·)是 局部谱图卷积算子； b.6得到局部谱图卷积层输出 特征Cl1； b.7令M个关键点为b.2步骤得到的128个关键点， P个样点为32个样点， K个最近邻居点 为8个最近邻居点， 重复步骤b.2 ‑b.5， 得到局部谱图卷积层输出 特征Cl2； b.8取原点(0,0,0)作为邻域 中心点， 把b.7步骤得到的32个关键点作为邻域， 构成邻居 点集合{xi}， i＝1,2,3……K， 重复步骤b.4 ‑b.5， 得到局部谱图卷积层输出 特征Cl3； c.提取全局谱图卷积层特 征； c.1令M’个关键点 为a.1步骤所 得512个关键点， P ’为128个关键样点； c.2运用随机采样为模型从M ’个关键点中均匀采样， 得到P ’个关键样点； c.3以P’个采样点为单位， 通过度量每个采样点xi'与其它采样点xj'两点之间特征的余 弦相似度， 构建邻 接矩阵Wh∈Rs×s， 所述i'＝1,2,3 ……P’， j'＝1,2,3 ……P’， i'≠j'； 基于 邻接矩阵Wh计算拉普拉斯矩阵Lglobal， 即得到全局谱图Lglobal； c.4运用切比雪夫多项式展开来近似卷积核gf， 按照公式 构 建全局谱图卷积， 式中gf(·)为基于特征空间度量矩阵的全局谱图卷积算子， fh为输入特 征， Wh是可学习的权 重矩阵， σ( ·)为ReLU函数； c.5得到全局谱图卷积层25 6维度的输出 特征Cg1； c.6令M’个关键点为c.2步骤所得128个关键样点， P ’为32个关键样点， 重复步骤c.2 ‑ c.4， 得到全局谱图卷积层512维输出 特征Cg2；权　利　要　求　书 1/2 页 2 CN 114565774 A 2d.对每层特征Cm、 Cl1、 Cl2、 Cl3、 Cg1、 Cg2均施加非线性转换， 然后用tanh函数获得特征Cm的权 重值 W是权重矩阵， b是偏置向量， qT是共享的注意力向量， 同理， 可以得到其他各层的权重值， 用softmax函数对权重值进行归一化， 获得各个结构特征的权重 最后， 每层特 征加权并求和， 得到最终的注意力值 e.对最终的注意力值N施加线性变换， 采用交叉熵损失函数进行训练并通过反向传播 优化， 得到分类模型。权　利　要　求　书 2/2 页 3 CN 114565774 A 3