(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210512774.7 (22)申请日 2022.05.11 (71)申请人 北京地平线机 器人技术研发有限公 司 地址 100094 北京市海淀区丰豪东路9号院 2号楼3层1单 元302 (72)发明人 王梦圆　朱红梅　张骞　 (74)专利代理 机构 北京思源智汇知识产权代理 有限公司 1 1657 专利代理师 李洪娟 (51)Int.Cl. G06V 10/25(2022.01) G06V 10/26(2022.01) G06V 10/44(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 遮挡区域的确定方法、 装置和分割模 型的训 练方法 (57)摘要 本公开实施例公开了一种遮挡区域的确定 方法、 装置和分割模型的训练方法， 其中， 方法包 括： 确定至少两个第一类视角分别对应的第一图 像， 得到至少两个第一图像； 确定至少两个第一 图像分别对应的第二类视角下的第一语义分割 特征， 得到至少两个第一语义分割特征； 将至少 两个第一语义分割特征进行融合， 获得融合语义 分割特征； 基于融合语义分割特征及预先训练获 得的遮挡区域分割模型， 确定第二类视角下的遮 挡区域。 本公开实施例可 以实现仅利用相机、 雷 达等， 进行中融合， 即可实现第二类视角下的遮 挡区域的确定， 无需进行后处理， 有效降低处理 时间， 从而减小辅助延迟， 解决了现有技术后融 合方式导 致延迟较大等问题。 权利要求书3页 说明书17页 附图10页 CN 115049820 A 2022.09.13 CN 115049820 A 1.一种遮挡区域的确定方法， 包括： 确定至少两个第一类视角分别对应的第一图像， 得到 至少两个第一图像； 确定所述至少两个第 一图像分别对应的第 二类视角下的第 一语义分割特征， 得到至少 两个第一语义分割特 征； 将所述至少两个第一语义分割特 征进行融合， 获得融合语义分割特 征； 基于所述融合语义分割特征及预先训练获得的遮挡区域分割模型， 确定所述第 二类视 角下的遮挡区域。 2.根据权利要求1所述的方法， 其中， 所述确定所述至少两个第 一图像分别对应的第 二 类视角下的第一语义分割特 征， 得到至少两个第一语义分割特 征， 包括： 分别对所述至少两个第 一图像进行特征提取， 确定所述至少两个第 一图像分别对应的 所述第一类视角下的第二语义分割特 征， 得到至少两个第二语义分割特 征； 将所述至少两个第 二语义分割特征分别转换到所述第 二类视角对应的坐标系下， 得到 所述至少两个第一语义分割特 征。 3.根据权利要求2所述的方法， 其中， 所述将所述至少两个第 二语义分割特征分别转换 到所述第二类视角对应的坐标系下， 得到所述至少两个第一语义分割特 征， 包括： 基于所述至少两个第一类视角分别对应的图像坐标系中的预设点坐标和预先获得的 相机参数， 确定所述至少 两个第一类视角分别对应的单应性变换矩阵， 得到至少 两个单应 性变换矩阵； 基于所述至少两个单应性变换矩阵， 分别将所述至少两个第 二语义分割特征转换到所 述第二类视角对应的坐标系下， 得到所述至少两个第一语义分割特 征。 4.根据权利要求2所述的方法， 其中， 所述分别对所述至少两个第一图像进行特征提 取， 确定所述至少 两个第一图像分别对应的所述第一类视角下的第二语义分割特征， 得到 至少两个第二语义分割特 征， 包括： 基于预先训练获得的第 一语义分割网络模型对所述至少两个第 一图像进行特征提取， 获得所述至少两个第二语义分割特 征。 5.根据权利要求1 ‑4任一所述的方法， 其中， 所述将所述至少两个第 一语义分割特征进 行融合， 获得融合语义分割特 征， 包括： 基于所述至少两个第 一语义分割特征中相同像素位置的特征值， 确定所述融合语义分 割特征。 6.根据权利要求1 ‑4任一所述的方法， 其中， 所述将所述至少两个第 一语义分割特征进 行融合， 获得融合语义分割特 征， 包括： 确定所述至少两个第一语义分割特征的相同像素位置的特征值中符合预设条件的特 征值； 基于符合所述预设条件的像素位置的特 征值， 确定该像素位置的融合特 征值； 基于各所述像素位置的所述融合特 征值， 获得 所述融合语义分割特 征。 7.根据权利要求6所述的方法， 其中， 所述基于符合所述预设条件的像素位置的特征 值， 确定该像素位置的融合特 征值， 包括： 响应于所述至少两个第一语义分割特征的相同像素位置的特征值中， 有至少两个非0 特征值， 将该像素位置的特 征值按非0特 征值数量 求均值， 作为该像素位置的融合特 征值。权　利　要　求　书 1/3 页 2 CN 115049820 A 28.一种遮挡区域分割模型的训练方法， 包括： 确定第一类视角下的至少一组多视角训练图像数据， 每组所述多视角训练图像数据包 括至少两个视角分别对应的第一训练图像； 确定所述至少一组多视角训练图像数据对应的第二类视角下的训练融合语义分割特 征及所述训练融合语义分割特征对应的标签数据， 得到至少一个训练融合语义分割特征及 对应的标签数据； 基于所述至少一个训练融合语义分割特征及对应的标签数据， 对预先建立的遮挡区域 分割网络进行训练， 获得 所述遮挡区域分割模型。 9.根据权利要求8所述的方法， 其中， 确定所述至少一组多视角训练图像数据对应的第 二类视角下的训练融合语义分割特 征， 得到至少一个训练融合语义分割特 征， 包括： 确定所述至少一组多视角训练图像数据中的目标组， 确定所述目标组中的所述至少两 个视角分别对应的第一训练图像， 得到 至少两个第一训练图像； 确定所述至少两个第 一训练图像分别对应的第 一类视角下的第 一训练语义分割特征， 得到至少两个第一训练语义分割特 征； 将所述至少两个第 一训练语义分割特征分别转换到所述第 二类视角对应的坐标系下， 得到至少两个第二训练语义分割特 征； 将所述至少两个第 二训练语义分割特征进行融合， 得到所述目标组对应的训练融合语 义分割特 征； 基于所述目标组对应的训练融合语义分割特征， 获得所述至少一个训练融合语义分割 特征。 10.根据权利要求9所述的方法， 其中， 确定所述至少一组多视角训练图像数据对应的 第二类视角下的训练融合语义分割特征所对应的标签数据， 得到至少一个训练融合语义分 割特征对应的标签数据， 包括： 基于预先训练获得的第 二语义分割网络模型， 确定所述目标组中的所述至少两个第 一 训练图像分别对应的语义分割结果， 得到 至少两个 语义分割结果； 确定所述至少两个语义分割结果分别对应的第 一掩码图像， 得到至少两个第 一掩码图 像， 所述第一掩码图像中各像素 的像素值为该像素所属类型 的类型值， 所述类型包括地面 区域和非地 面区域； 将所述至少两个第 一掩码图像分别转换到所述第 二类视角对应的坐标系下， 得到至少 两个第二掩码图像； 将所述至少两个第二掩码图像进行融合， 获得融合掩码图像； 将所述融合掩码图像作为所述目标组所对应的所述训练融合语义分割特征的标签数 据。 11.根据权利要求10所述的方法， 其中， 所述将所述至少两个第二掩码图像进行融合， 获得融合掩码图像， 包括： 确定所述至少两个第二掩码图像中各像素位置分别对应的重 叠次数； 基于所述至少两个第二掩码图像中相同像素位置的特 征值， 获得中间图像； 基于所述中间图像及各像素位置分别对应的重 叠次数， 确定所述融合掩码图像。 12.根据权利要求11所述的方法， 其中， 所述基于所述中间图像及各像素位置分别对应权　利　要　求　书 2/3 页 3 CN 115049820 A 3