(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210306654.1 (22)申请日 2022.03.25 (71)申请人 北京百度网讯科技有限公司 地址 100085 北京市海淀区上地十街10号 百度大厦2层 (72)发明人 叶晓青　储瑞航　孙昊　 (74)专利代理 机构 北京品源专利代理有限公司 11332 专利代理师 郭德霞 (51)Int.Cl. G06V 10/774(2022.01) G06V 10/82(2022.01) G06V 10/26(2022.01) G06V 20/70(2022.01) G06V 10/762(2022.01)G06N 3/08(2006.01) G06N 3/04(2006.01) G06K 9/62(2022.01) (54)发明名称 点云处理模型的训练和点云实例分割方法 及装置 (57)摘要 本公开提供了一种点云处理模型的训练和 点云实例分割方法及装置， 涉及深度学习和计算 机视觉技术领域， 可应用于3D视觉、 增强现实和 虚拟现实等场景。 具体实现方案为： 根据有标签 点云， 对无标签点云进行标注， 得到样本点 云； 将 所述样本点云输入至点云处理模 型， 得到所述样 本点云的第一预测语义信息和第一预测偏移量； 根据所述第一预测语义信息、 所述第一预测偏移 量、 所述样 本点云对应的样本标签和所述样本点 云的原始坐标信息， 确定训练损失； 采用所述训 练损失， 对所述点云处理模型进行训练。 通过上 述技术方案， 能够使 得点云处理模 型具有较高精 度。 权利要求书3页 说明书12页 附图5页 CN 114648676 A 2022.06.21 CN 114648676 A 1.一种点云处 理模型的训练方法， 包括： 根据有标签点云， 对无 标签点云进行 标注， 得到样本点云； 将所述样本点云输入至点云处理模型， 得到所述样本点云的第 一预测语义信 息和第一 预测偏移量； 根据所述第一预测语义信息、 所述第一预测偏移量、 所述样本点云对应的样本标签和 所述样本点云的原 始坐标信息， 确定训练损失； 采用所述训练损失， 对所述 点云处理模型进行训练。 2.根据权利要求1所述的方法， 其中， 所述根据有标签点云， 对无标签点云进行标注， 得 到样本点云， 包括： 根据点云几何信息， 对原 始点云进行超体素分割， 得到第一超体素； 根据所述第一超体素内的有标签点云， 对所述第一超体素内的无标签点云进行标注， 得到样本点云。 3.根据权利要求1所述的方法， 其中， 所述根据有标签点云， 对无标签点云进行标注， 得 到样本点云， 包括： 将无标签点云输入至点云处理模型， 得到所述无标签点云的第二预测语义信息、 第二 预测偏移量和 第一置信度信息； 所述点云处理模型采用有标签点云对初始模型进 行训练得 到； 根据所述第一置信度信息， 对所述无 标签点云进行筛 选， 得到可用点云； 根据所述可用点云的第 二预测语义信 息和第二预测偏移量， 确定所述可用点云的伪标 签； 将所述可用点云作为样本点云。 4.根据权利要求3所述的方法， 其中， 所述根据所述可用点云的第 二预测语义信 息和第 二预测偏移量， 确定所述可用点云的伪标签， 包括： 根据所述可用点云的第二预测语义信息， 确定所述可用点云的语义伪标签； 根据所述可用点云的第二预测偏移量， 确定所述可用点云的偏移伪标签。 5.根据权利要求4所述的方法， 其中， 所述根据所述可用点云的第二预测偏移量， 确定 所述可用点云的偏移伪标签， 包括： 从所述可用点云中确定第二超体素的关联点云； 根据所述关联点云的第 二预测偏移量和原始坐标信 息， 确定所述第 二超体素对应的实 例中心； 根据所述第 二超体素对应的实例中心和所述关联点云的原始坐标信 息， 确定所述关联 点云的偏移伪标签； 将所述关联点云的偏移伪标签， 作为所述可用点云的偏移伪标签。 6.根据权利要求3所述方法， 其中， 所述根据所述第一置信度信息， 对所述无标签点云 进行筛选， 得到可用点云， 包括： 根据所述第一置信度信息， 对所述无 标签点云进行筛 选， 得到候选点云； 根据所述候选点云的第二预测偏移量和原始坐标信息， 对所述候选点云进行聚类， 得 到候选实例； 将所述候选实例的实例特征输入至修正模型， 得到所述修正模型输出结果对应的第 二权　利　要　求　书 1/3 页 2 CN 114648676 A 2置信度信息； 根据所述第二置信度信息， 对所述候选实例进行筛选， 并根据筛选结果， 确定可用点 云。 7.根据权利要求1所述的方法， 其中， 所述根据所述第一预测语义信息、 所述第一预测 偏移量、 所述样 本点云对应的样本标签和所述样本点云的原始 坐标信息， 确定训练损失， 包 括： 根据所述第 一预测语义信 息和所述样本点云对应的样本标签中的语义标签， 确定第 一 损失； 根据所述第一预测偏移量和所述样本点云的原 始坐标信息， 确定第二损失； 根据所述第一预测偏移量和所述样本标签中的偏移标签， 确定第三损失； 根据所述第一损失、 所述第二损失和所述第三损失， 确定训练损失。 8.一种点云实例分割方法， 包括： 获取待分割点云； 基于点云处理模型， 对所述待分割点云进行实例分割； 其中， 所述点云处理模型通过权 利要求1‑7中任一所述的点云处 理模型的训练方法训练得到 。 9.一种模型训练装置， 包括： 样本点云确定模块， 用于根据有标签点云， 对无 标签点云进行 标注， 得到样本点云； 样本点云处理模块， 用于将所述样本点云输入至点云处理模型， 得到所述样本点云的 第一预测语义信息和第一预测偏移量； 训练损失确定模块， 用于根据 所述第一预测语义信息、 所述第一预测偏移量、 所述样本 点云对应的样本标签和所述样本点云的原 始坐标信息， 确定训练损失； 模型训练模块， 用于采用所述训练损失， 对所述 点云处理模型进行训练。 10.根据权利要求9所述的装置， 其中， 所述样本点云确定模块包括： 第一超体素确定单元， 用于根据点云几何信 息， 对原始点云进行超体素分割， 得到第一 超体素； 第一样本点云确定单元， 用于根据所述第一超体素内的有标签点云， 对所述第一超体 素内的无 标签点云进行 标注， 得到样本点云。 11.根据权利要求9所述的装置， 其中， 所述样本点云确定模块包括： 无标签点云信息确定单元， 用于将无标签点云输入至点云处理模型， 得到所述无标签 点云的第二预测语义信息、 第二预测偏移量和第一置信度信息； 所述点云处理模型采用有 标签点云对初始模型进行训练得到； 可用点云确定单元， 用于根据 所述第一置信度信息， 对所述无标签点云进行筛选， 得到 可用点云； 伪标签确定单元， 用于根据所述可用点云的第二预测语义信息和第二预测偏移量， 确 定所述可用点云的伪标签； 第二样本点云确定单 元， 用于将所述可用点云作为样本点云。 12.根据权利要求1 1所述的装置， 其中， 所述伪标签确定单 元包括： 语义伪标签确定子单元， 用于根据所述可用点云的第二预测语义信息， 确定所述可用 点云的语义伪标签；权　利　要　求　书 2/3 页 3 CN 114648676 A 3