(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210229519.1 (22)申请日 2022.03.10 (65)同一申请的已公布的文献号 申请公布号 CN 114298946 A (43)申请公布日 2022.04.08 (73)专利权人 武汉大学 地址 430072 湖北省武汉市武昌区珞珈山 武汉大学 (72)发明人 肖春霞　张文逍　周华健　罗飞　 (74)专利代理 机构 武汉科皓知识产权代理事务 所(特殊普通 合伙) 42222 专利代理师 齐晨涵 (51)Int.Cl. G06T 5/00(2006.01) G06V 10/42(2022.01)G06V 10/44(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (56)对比文件 US 2022005212 A1,202 2.01.06 CN 113379646 A,2021.09.10 CN 114004871 A,202 2.02.01 WO 2020066662 A1,2020.04.02 CN 113706686 A,2021.1 1.26 审查员 刘海艳 (54)发明名称 一种框架细节增强的深度学习点云补全方 法 (57)摘要 本发明公开了一种基于框架细节增强的深 度学习点云补全 方法， 通过充分利用形状框架和 细节之间的相互联系来更好地进行点云补全。 该 网络包含了一个框架 ‑细节Tran sformer模 块， 其 中包含交叉注 意力层和自注意力层， 以充分探索 从局部细 节到全局形状的相关性， 并利用它来增 强整体形状框架。 本发明不仅能够增强点云补全 的细节和整体的准确度。 权利要求书2页 说明书5页 附图3页 CN 114298946 B 2022.06.14 CN 114298946 B 1.一种框架细节增强的深度学习点云补全方法， 其特 征在于： 步骤1， 给定 X作为部分输入点云， 首先利用自动编码器来生成用于粗略形状补全的全 局特征； 步骤2， 通过解码全局特 征恢复出粗略的框架 ； 步骤3， 分别从 X和 中提取逐点特征 FX和FC；FX可以看作是包含几何细节的局部特征， FC是指全局框架中各个点特 征； 步骤4， 将 FX和FC连同其对应的空间坐标 PX和PC输入到框架 ‑细节Transformer模块以将 局部细节特 征从FX和FC融合到FC并获得增强的特 征 ； 其中， 框架 ‑细节Transformer模块包括一个自注意力层、 一个交叉注意力层和一个可 选的全局自注意力层； 其输入是 FX和FC， 自注意力层将对每个点的特征进行提取和聚合， 输 出 和 ； 交叉注意层分析粗糙框架中的点和输入的局部模型中的点的相关性， 并将来自 局部模型的细节特征 FX和FC集成到粗糙框架点的特征 中， 得到增强后的特征 ； 可选的 全局自注意力层可以应用于 和 的组合， 以在全局视图中进一步传播特征， 全局自注 意力层是根据内存的充裕情况选择 添加或者 不添加； 步骤5， 将 的一同输入到 重建网络中， 以获得最终的细节增强结果。 2.根据权利要求1所述的框架细节增强的深度学习点云补全方法， 其特 征在于： 步骤1的中给定 X作为部分输入点云， 首先利用自动编码器来生成用于粗略形状补全的 全局特征， 在自动编码器使用Point Net为基础框架， 通过多层感知机来提取逐点特征， 之后 通过最大池化层获取全局特 征。 3.根据权利要求2所述的框架细节增强的深度学习点云补全方法， 其特 征在于： 对于得到的全局特征， 首先将其通过多层感知机将原本的低维度 特征提取到 高维度特 征而后通过Reshape操作来到得到与粗糙结果相同的维度， 多层感知机可以有效地提取点 云的特征， 之后再通过多层感知机回归出粗略的框架 。 4.根据权利要求1所述的框架细节增强的深度学习点云补全方法， 其特 征在于： 给定具有特 征 的输入点云 P， 自注意力层可由如下公式表示： 其中 表示线性投影， 是一个包含线性层的多层感知机MLP， 代表查询值中 第i个元素， 代表键值中第 i个元素， 代表value中第 i个元素， 同样代表MLP， 其由线 性层组成， 且包含批量归一化操作和ReLU激活函数， 为初始融合后 的特征，d为特征维权　利　要　求　书 1/2 页 2 CN 114298946 B 2度。 5.根据权利要求 4所述的框架细节增强的深度学习点云补全方法， 其特 征在于： 交叉注意力层， 其表达形式类似于之前的自注意力层， 不同之处在于： 1） 在交叉注意力层中， 只有 用于计算查询值， 而键值和value是从 中计算而来， 即 有一个交叉映射关系 → ； 2） 交叉注意力层中还用到了一个额外的位置编码层， 位置编码函数可以表示为： 给定点特 征 ， 交叉注意力层定义如下： 最终， 框架 ‑细节Transformer模块以将局部细节特征从 FX和FC融合到FC并获得增强的 特征 。 6.根据权利要求1所述的框架细节增强的深度学习点云补全方法， 其特 征在于： 步骤5具体为： 使用EdgeConv作为特征传播的基本模块， 它通过选择邻域图特征空间中 的 K 个最近邻点来进行特征的传播， 对于每个下采样和上采样操作， 利用到了 Pointatrousgraph中的  Edge‑preserved  Pooling 和 Edge‑preserved  Unpooling模块； 利用了边 缘感知特 征扩展模块 根据所需的最终分辨 率来扩展点的特 征。权　利　要　求　书 2/2 页 3 CN 114298946 B 3