(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210397489.5 (22)申请日 2022.04.15 (71)申请人 京东鲲鹏 （江苏） 科技有限公司 地址 215500 江苏省苏州市 常熟市东 南街 道云深路2号 (72)发明人 徐鑫　 (74)专利代理 机构 北京律智知识产权代理有限 公司 11438 专利代理师 王辉 (51)Int.Cl. G06V 10/26(2022.01) G06V 10/80(2022.01) G06V 10/56(2022.01) G06V 10/82(2022.01) G06T 7/73(2017.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 在线点云语义分割方法、 装置、 存储介质及 电子设备 (57)摘要 本公开涉及人工智能领域， 具体涉及一种在 线点云语义分割方法、 在线点云语义分割装置、 存储介质及电子设备。 该在 线点云语义分割方法 包括： 实时采集颜色深度图像， 并基于所述颜色 深度图像中像素点的深度数据将所述像素点进 行点云转化得到当前点云集； 通过点云注册将所 述当前点云集与历史点云集进行顶 点融合， 以获 取所述像素点对应的几何特征和时序语义状态； 对所述几何特征和所述颜色深度图像中像素点 的颜色数据进行特征融合得到所述颜色深度图 像的语义特征； 根据所述语义特征和所述时序语 义状态进行语义分割得到所述像素点的语义分 割结果。 本公开的在线点云语义 分割方法旨在在 线地输出精确、 稳定的点云语义分割结果。 权利要求书2页 说明书13页 附图4页 CN 115272666 A 2022.11.01 CN 115272666 A 1.一种在线点云语义分割方法， 其特 征在于， 包括： 实时采集颜色深度图像， 并基于所述颜色深度图像中像素点的深度数据将所述像素点 进行点云转 化得到当前点云集； 通过点云注册将所述当前点云集与历史点云集进行顶点融合， 以获取所述像素点对应 的几何特 征和时序语义状态； 对所述几何特征和所述颜色深度图像中像素点的颜色数据进行特征融合得到所述颜 色深度图像的语义特 征； 根据所述语义特征和所述时序语义状态进行语义分割得到所述像素点的语义分割结 果。 2.根据权利要求1所述的在线点云语义分割方法， 其特征在于， 所述基于所述颜色深度 图像中像素点的深度数据将所述像素点进行点云转 化得到当前点云集， 包括： 获取采集所述颜色深度图像的相机参数； 针对一所述像素点， 根据该像素点的深度 数据以及所述相机参数将该像素点转化为三 维坐标系中的体素点； 遍历所述颜色深度图像中各像素点， 以得到各像素点分别对应的体素点组成所述当前 点云集。 3.根据权利要求1所述的在线点云语义分割方法， 其特征在于， 所述历史点云集包括已 注册的历史注册点， 所述通过点云注册将所述当前点云集与历史点云集进行顶点融合， 包 括： 对所述当前点云集中体素点的坐标 数据进行转换以注 册得到当前注 册点； 判断是否存在待融合的当前注 册点和历史注 册点； 在存在待融合的当前注册点和历史注册点 时， 按照预设的融合规则将所述当前注册点 和所述历史注 册点进行融合以更新所述历史点云集。 4.根据权利要求3所述的在线点云语义分割方法， 其特征在于， 所述判断是否存在待融 合的当前注 册点和历史注 册点， 包括： 针对所述当前点云集一当前注册点， 确定该当前注册点在第一坐标轴的第一位置， 第 二坐标轴的第二 位置以及第三 坐标轴的第三 位置； 从所述历史点云集中搜索与所述第一 位置匹配的历史注 册点组成第一历史点云集； 在所述第一历史点云集为非空集 时， 从所述第 一历史点云集中搜索与 所述第二位置匹 配的历史注 册点组成第二历史点云集； 在所述第二历史点云集为非空集 时， 从所述第 二历史点云集中搜索与 所述第二位置匹 配的历史注 册点以判断是否存在待融合的当前注 册点和历史注 册点。 5.根据权利要求3所述的在线点云语义分割方法， 其特征在于， 在所述对所述当前点云 集中体素点的坐标 数据进行转换以注 册得到当前注 册点之后， 所述方法还 包括： 获取所述当前注册点的注册时间戳、 几何特征、 时序语义状态以及点云语义信息以用 于所述顶点融合； 其中， 所述几何特征包括所述当前注册点相对于所述当前点云集的点云 边界距离值、 点云最低点距离值、 法向量和曲率中的一种或多种。 6.根据权利要求5所述的在线点云语义分割方法， 其特征在于， 在存在待融合的当前注 册点和历史注册点时， 所述按照预设的融合规则将所述当前注册点和所述历史注册点进 行权　利　要　求　书 1/2 页 2 CN 115272666 A 2融合， 包括： 在所述当前注册点的注册时间戳与历史注册点的注册时间戳满足预设条件时， 将所述 当前注册点的坐标 数据和注 册时间戳 替换至所述历史注 册点； 在所述当前注册点的注册时间戳与历史注册点的注册时间戳不满足所述预设条件时， 将所述当前注册点的坐标数据、 注册时间戳、 几何特征、 时序语义状态以及点云语义信息替 换至所述历史注 册点。 7.根据权利要求1所述的在线点云语义分割方法， 其特征在于， 所述对所述几何特征和 所述颜色深度图像中像素点的颜色数据进 行特征融合得到所述颜色深度图像的语义特征， 包括： 采用第一方式对所述几何特征进行编码得到第 一编码数据， 以及采用第 二方式对所述 颜色数据进行编码得到第二编码数据； 对所述第一编码数据和所述第二编码数据分别进行 上采样得到融合结果； 对所述融合结果进行解码得到所述语义特 征。 8.根据权利要求1所述的在线点云语义分割方法， 其特征在于， 所述根据 所述语义特征 和所述时序语义状态进行语义分割得到所述像素点的语义分割结果， 包括： 针对一像素点， 根据 所述语义特征和该像素点对应当前注册点的时序语义状态利用循 环神经网络中的卷积层提取时序特 征； 其中， 所述循环神经网络包括两个长短期记 忆网络； 根据所述时序特 征利用所述循环神经网络中的全连接层计算语义分数； 基于所述语义分数进行 预测得到该像素点的语义分割结果； 遍历所述颜色深度图像中各像素点， 以得到各像素点分别对应的语义分割结果。 9.一种在线点云语义分割装置， 其特 征在于， 包括： 采集模块， 用于实时采集颜色深度图像， 并基于所述颜色深度图像中像素点的深度数 据将所述像素点进行点云转 化得到当前点云集； 融合模块， 用于通过点云注册将所述当前点云集与历史点云集进行顶点融合， 以获取 所述像素点对应的几何特 征和时序语义状态； 特征模块， 用于对所述几何特征和所述颜色深度图像中像素点的颜色数据进行特征融 合得到所述颜色深度图像的语义特 征； 分割模块， 用于根据 所述语义特征和所述 时序语义状态进行语义分割得到所述像素点 的语义分割结果。 10.一种计算机可读存储介质， 其上存储有计算机程序， 所述程序被处理器执行时实现 如权利要求1至9任一项所述的在线点云语义分割方法。 11.一种电子设备， 其特 征在于， 包括： 一个或多个处 理器； 存储装置， 用于存储一个或多个程序， 当所述一个或多个程序被所述一个或多个处理 器执行时， 使得所述一个或多个处理器实现如权利要求 1至9任一项 所述的在线点云语义分 割方法。权　利　要　求　书 2/2 页 3 CN 115272666 A 3