(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210388496.9 (22)申请日 2022.04.14 (71)申请人 上海理工大 学 地址 200093 上海市杨 浦区军工路516号 (72)发明人 周浩然　王文举　陈罡　王晓琳　 (74)专利代理 机构 上海德昭知识产权代理有限 公司 31204 专利代理师 丁振英 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于动静态卷积融合神经网络的多视图三 维点云分类方法 (57)摘要 本发明提供一种基于动静态卷积融合神经 网络的多视图三维点云分类方法， 使用固定加随 机视点的视图选取方法， 有效避免了传统 固定视 点选取所造成的过拟合现象； 为了提高算法在不 同数据集上的自适应性， 用了动态静态卷积自适 应权重融合的局部特征提取算子， 特别针对当前 动态卷积存在的参数量巨大， 计算复杂 度高的问 题， 提出了一种轻量化自适应动态卷积算子； 此 外， 使用了全局注意力的池化方法， 也能够最大 程度地整合不同视图上的最关键信息。 这些特性 使得本发明的方法总体泛化性能更好， 具有更好 的自适应性， 能够提取到更加细粒度的细节信 息， 进一步提高了点云数据的分类精度， 且融合 效率高。 权利要求书3页 说明书19页 附图4页 CN 114998638 A 2022.09.02 CN 114998638 A 1.一种基于动静态卷积融合神经网络的多视图三维点云分类方法， 其特征在于， 包括 如下步骤： 步骤S1， 通过 FSDC‑Net的多视图选取部分将输入的三维点云投影 变换为多视图表征； 步骤S2， 通过 所述FSDC‑Net的局部特 征处理部分提取 所述多视图表征的局部特 征； 步骤S3， 通过 所述FSDC‑Net的全局特 征融合部分将所述局部特 征融合为全局特 征； 步骤S4， 所述FS DC‑Net基于所述全局特 征对所述 三维点云进行分类， 其中， 步骤S1包括如下子步骤： 步骤S1‑1， 对所述 三维点云的各个点的位置信息进行归一 化； 步骤S1‑2， 选取固定视点， 并基于该固定视点对归一化后的所述三维点云进行投影， 得 到固定视图集； 步骤S1‑3， 选取随机视点， 并基于该随机视点对归一化后的所述三维点云进行投影， 得 到随机视图集； 步骤S1‑4， 按预定比例分别从所述固定视图集和所述随机视图集中选取部分视图， 并 将其组合成多视图初始阶段的表征， 即所述多视图表征， 步骤S2包括如下子步骤： 步骤S2‑1， 将每个所述视图进行 卷积和最大池化； 步骤S2‑2， 将每个所述视图串行地经过所述FSDC ‑Net中的多个FSDC层， 其中， 每个所述 FSDC层对输入特征并行地应用静态卷积和轻量化动态卷积分别生成算子并分别提取特征， 再通过两个可学习权重自适应地融合两个分支 提取的特征， 进而通过激活层得到输出特征 作为所述局部特 征， 其中， 用于进行 所述轻量 化动态卷积的动态卷积核通过以下子步骤得到： 步骤S2‑2‑1， 通过BatchPool函数对所述输入特征在B atch维度进行融合， 从而达到轻 量化的效果， 如下式： 式中， Xi,Z1分别表示BatchPool前后的输入和输出特征， Xi(j,c,h,w)表示输入的某一 幅图像， b表示Batc hSize的大小， c,h,w分别表示输入特 征在通道、 高度、 宽度方向的集 合； 步骤S2‑2‑2， 分别采用不同尺寸的卷积矩阵从不同感受野上对原始输入特征进行卷积 操作， 从而提取不同感受野上的信息； 步骤S2‑2‑3， 融合不同感受野上提取到的所述信息； 步骤S2‑2‑4， 通过Dropout层使所述FSDC层中的神经元按预定比例随机失活， 从而避免 过拟合问题； 步骤S2‑2‑5， 对每个所述FSDC层， 通过卷积将原始动态权重改变至预定的通道数， 并通 过激活函数Sigmoid获得概率值作为所述FSDC层的动态权重， 从而得到多个所述FSDC层的 动态权重集合； 步骤S2‑2‑6， 将原始的多组卷积核与所述动态权重集合进行乘加， 生成最终的所述动 态卷积核。 2.根据权利要求1所述的基于动静态卷积融合神经网络的多视图三维点云分类方法， 其特征在于：权　利　要　求　书 1/3 页 2 CN 114998638 A 2其中， 步骤S3包括如下子步骤： 步骤S3‑1， 对n个所述局部特征进行平均池化， 得到一个n维向量， 表示每个动态权重的 初始值集合； 步骤S3‑2， 对所述n维 向量依次应用两个输入输出均 为n维的1 ×1卷积， 并在两个所述1 ×1卷积之间应用非线性激活函数Swish， 再通过激活函数Softmax得到各个所述视图的特 征权重； 步骤S3‑3， 将每个所述视图与对应的所述特征权重相乘， 再在视图维度进行相加， 得到 所述全局特 征。 3.根据权利要求1所述的基于动静态卷积融合神经网络的多视图三维点云分类方法， 其特征在于： 其中， 步骤S2 ‑1中， 用7×7卷积矩阵进行 卷积， 步骤S2‑2中， 所述激活层为BN+ReLu。 4.根据权利要求1所述的基于动静态卷积融合神经网络的多视图三维点云分类方法， 其特征在于： 其中， 步骤S2 ‑2‑2中， 分别用1 ×1卷积矩阵和3 ×3卷积矩阵从不 同感受野上对所述原 始输入特 征进行卷积， 如下式： Z2＝W1(Z1) Z3＝W2(Z1) 式中， W1,W2分别表示1 ×1和3×3卷积矩阵， Z2,Z3分别表示对应产生的输出 特征， 步骤S2‑2‑3中， 对输出特征Z2,Z3进行逐元素相加， 再经过一个空间平均池化函数， 将 其 收缩为1×c×1×1维度的输出 特征Z4， 如下式： 式中， h×w为局部特 征的宽和高， 步骤S2‑2‑4中， 按下式进行随机失活： Z5＝fdropout(Z4,p) 式中， p代表失活的比例， 且0 <p<1。 5.根据权利要求1所述的基于动静态卷积融合神经网络的多视图三维点云分类方法， 其特征在于： 其中， 步骤S1 ‑1中， 基于以下公式进行 所述归一 化： 式中， pi,j,k表示三维点云中的任意一个点， min(PX,Y,Z)和max(PX,Y,Z)分别表示对三维点 云中三维笛卡尔坐标系X,Y,Z三个坐标轴取最小值和最大值得到的点。 6.根据权利要求1所述的基于动静态卷积融合神经网络的多视图三维点云分类方法， 其特征在于： 其中， 步骤S1 ‑2中， 将虚拟相机摆放在固定位置， 保持所述三维点云的X,Y,Z中的两个 坐标轴不变， 在第三个坐标轴 上等间隔角度地进行旋转， 再使用所述虚拟相 机进行二维投权　利　要　求　书 2/3 页 3 CN 114998638 A 3