(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210436081.4 (22)申请日 2022.04.25 (71)申请人 武汉图科智能科技有限公司 地址 430000 湖北省武汉市东湖新 技术开 发区光谷大道特1号国际企业中心2栋 4层05号B033(自贸区武汉片区) (72)发明人 陶文兵　赵蔺　刘李漫　 (74)专利代理 机构 武汉蓝宝石专利代理事务所 (特殊普通 合伙) 42242 专利代理师 万畅 (51)Int.Cl. G06V 10/26(2022.01) G06V 10/80(2022.01) G06V 20/56(2022.01) G06K 9/62(2022.01) (54)发明名称 一种基于LiDAR和图像融合的街道场景语义 分割方法 (57)摘要 本发明涉及一种基于LiDAR （激光雷达） 和图 像融合的街道场景语义分割方法， 包括： 输入 LiDAR点云和图像并进行预处理； 将点云投影到 图像中后， 对图像进行上下文信息的融合得到融 合信息； 使用点云语义分割网络提取融合信息中 的粗粒度特征； 使用图像语义分割网络提取图像 高维语义特征， 计算偏移量得到对齐后的图像语 义特征； 将图像语义特征和粗粒度特征融合后得 到融合语义特征， 使用点云语义分割网络提取融 合语义特征的细粒度的语义特征， 得到语义分割 结果； 采用一种简单且有效的前融合策略来融合 图像上下文信息和LiDAR点云信息这两种不同模 态的信息， 以此来生成语义类别特征； 有效的增 强所提取点 云的特征的判别力， 提升模型对场景 分割的准确率。 权利要求书2页 说明书8页 附图2页 CN 114529727 A 2022.05.24 CN 114529727 A 1.一种基于LiDAR和图像 融合的街道场景语义分割方法， 其特征在于， 所述语义分割方 法包括： 步骤1， 输入L iDAR点云和图像并进行 预处理； 步骤2， 将点云投影到图像中后， 对所述图像进行 上下文信息的融合得到融合信息； 步骤3， 使用点云语义分割网络提取所述融合信息 中的粗粒度 特征； 使用图像语义分割 网络提取图像高维语义特 征， 计算偏移量得到对齐后的图像 语义特征； 步骤4， 将所述图像语义特征和所述粗粒度 特征融合后得到 融合语义特征， 使用点云语 义分割网络提取 所述融合语义特 征的细粒度的语义特 征， 得到语义分割结果。 2.根据权利要求1所述的语义分割方法， 其特征在于， 所述步骤1中对输入的所述点云 进行预处理的过程包括： 将所述点云的XYZ坐标变换到柱坐标空间， 计算在柱坐标系下所述点云的范围， 确定该 范围对应的最大值和最小值； 根据设置的参数将各个所述 点云划分到一系列的圆柱分区中。 3.根据权利要求1所述的语义分割方法， 其特 征在于， 所述 步骤2包括： 步骤201， 根据点云的原始坐标 、 位姿变换矩阵 、 相机内参 矩阵 ， 将点云投影到图像平面， 生成投影索引 ； 其中， ， R表示实数， 表示LiDAR点云中点的数量； 步骤202， 将落在图像平面外的点过 滤掉， 对投影索引更新后保存到内存中； 步骤203， 根据更新后的投影索引坐标， 在图像平面上， 以投影点为中心， 以大小为w ×w 的窗口进行上下文信息采样， 并将所述窗口中每个像素位置的RGB颜色值作为特征聚合到 一起得到图像上下文信息； 将所述图像上下文信息附加到原始 点云的特征后面根据点云体 素划分的索引对特 征进行处 理。 4.根据权利要求3所述的语义分割方法， 其特征在于， 所述步骤202中更新后的所述投 影索引为： ； 其中， ； H×W为图 像的大小。 5.根据权利要求3所述的语义分割方法， 其特征在于， 所述步骤203中得到所述图像上 下文信息 的过程为： ； 其中， sample （ ） 表示用于采样的函数， reshap e （ ） 表示将指定的矩阵变换成特定维数矩 阵的函数， I表示图像， Ni表示过滤后的点云的点的数量。权　利　要　求　书 1/2 页 2 CN 114529727 A 26.根据权利要求1所述的语义分割方法， 其特征在于， 所述步骤3中所述点云语义分割 网络为UNet结构网络； 所述图像 语义分割网络为De epLab。 7.根据权利要求3所述的语义分割方法， 其特征在于， 所述步骤3中基于所述图像高维 语义特征 ， 计算偏移量得到对齐后的图像 语义特征 的过程为： 使用所述投影索引Idx将所述粗粒度的语义特征 投影到图像平面， 得到和所 述图像高维语义特 征 具有相同形状的伪图像特 征 ； 将所述粗粒度的语义特征 和所述伪图像特征 融合后得到融合后的 特征 ； 将融合后的特征 输入到一个两层的深度卷积网络中进行偏移学 习得到所述偏移量Of fset； 基于所述偏移量Of fset更新所述投影索引Idx并进行反向投影； 根据更新后的所述投影索引Idx的位置将对应的所述图像高维语义特征 提取 出来得到对齐后的图像 语义特征 。 8.根据权利要求3所述的语义分割方法， 其特征在于， 所述步骤4中得到所述融合语义 特征 的过程包括： 将所述图像语义特征 附加在所述粗粒度 的语义特征 后面， 和粗粒度 的语义特 征 相融合得到融合语义特 征 。 9.根据权利 要求3所述的语义分割方法， 其特征在于， 所述步骤4中使用一个基于LiDAR 语义分割的UNet结构的网络Cylinder3D来提取所述融合语义特征 的细粒度的语义 特征； 对输出的细粒度的语义特 征应用一个ARGMAX操作来 生成所述语义预测结果。权　利　要　求　书 2/2 页 3 CN 114529727 A 3