(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210549171.4 (22)申请日 2022.05.20 (71)申请人 华南理工大 学 地址 510640 广东省广州市天河区五山路 381号 (72)发明人 罗玉涛　梁伟强　 (74)专利代理 机构 广州市华学知识产权代理有 限公司 4 4245 专利代理师 郑秋松 (51)Int.Cl. G06F 30/20(2020.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/40(2022.01) G06V 10/762(2022.01) (54)发明名称 无人驾驶环境分层特征建模方法、 系统及其 存储介质 (57)摘要 本发明公开了一种无人驾驶环境分层特征 建模方法、 系统及其存储介质。 该方法包括步骤 无人驾驶车辆获取自身周围的环 境信息并分层； 对分层的环 境信息分别进行编码， 获得表征对应 类型环境信息的伪图片； 将伪图片输入卷积神经 网络中进行分层特征提取； 使用聚类算法对不同 层次的伪图片各自分别对应的环境的分层特征 进行聚类， 并用聚类结果反向传播训练卷积神经 网络后， 再对后续的分层特征进行聚类建模。 本 发明相比现有技术， 通过对环境特征分层提取、 场景类型分层聚类的结合， 使分层特征在聚类后 更为显著、 更为稠 密， 功能上具备全面、 完 备的描 述了无人驾驶场景环境的基础。 权利要求书2页 说明书6页 附图3页 CN 115081187 A 2022.09.20 CN 115081187 A 1.一种无 人驾驶环境分层特 征建模方法， 其特 征在于， 包括 步骤如下： 无人驾驶车辆获取自身周围的环境信息， 并相应地将环境信息分为交通智体、 路网设 施、 临时设施、 气候环境、 交通 规则五个层次； 对交通智体、 路网设施、 临时设施、 气候环境、 交通规则五个层次的环境信息分别进行 编码， 获得表征对应类型环境信息的交通智体层伪图片、 路网设施层伪图片、 临时设施层伪 图片、 气候环境层伪图片、 交通 规则层伪图片； 将交通智体层伪图片、 路网设施层伪图片、 临时设施层伪图片、 气候环境层伪图片、 交 通规则层伪图片输入卷积神经网络中进行分层特 征提取； 使用聚类算法对交通智体层伪图片、 路网设施层伪图片、 临时设施层伪图片、 气候环境 层伪图片、 交通规则层伪图片各自分别对应的环境的分层特征进行聚类， 并用聚类结果反 向传播训练， 训练到卷积神经网络收敛后， 再对后续的分层特 征进行聚类建模。 2.根据权利要求1所述无人驾驶环境分层特征建模方法， 其特征在于， 所述卷积神经网 络为残差卷积神经网络Resnet5 0； 所述聚类算法为 k‑means算法。 3.根据权利要求2所述无人驾驶环境分层特征建模方法， 其特征在于， 使用残差卷积神 经网络Resnet5 0进行分层特 征提取的过程 为： 将交通智体层伪图片、 路网设施层伪图片、 临时设施层伪图片、 气候环境层伪图片、 交 通规则层伪图片均分别分为RGB三个通道， 设定每个层次的伪图片宽度均为W、 高度均为H， 则每个层次特征的伪图片的维度Dim＝[H,W,3 ]， 设定进 行聚类所需的类数为k， 把 五个层次 的伪图片的通道进行叠加， 得到维度Dim＝[H,W,15]的伪图片集； 将伪图片集输入到残差卷积神经网络Resnet50中进行卷积计算， 提取无人驾驶环境的 元特征得到重构语义图 设f( θ )表示残差卷积神经网络Resnet50的映射， 残差卷积神经网络Resnet50的训练过 程为一个从给定训练集X＝{x1,x2,...,xn}找到最优参数θ*使得f( θ*)能够描述环 境信息输 入的通用特 征的过程， 该 过程如下式所示： 其中， n表示图片编号， N表示图片总数量， yn表示聚类伪标签， xn表示输入图像， θ表示卷 积神经网络参数向量， fθ()表示θ下图像的映射， gW()表示图像分类函数， l()表示多类别 逻辑回归损失函数。 4.根据权利要求3所述无人驾驶环境分层特征建模方法， 其特征在于， k ‑means算法对 分层特征进行聚类的过程 为： 根据下式对重构语义图 以几何准则将元特征聚类成k个不同的组， 并为重构语义图 中的每个像素点赋予像素 标签y： 其中， d表示输入数据的维度， 即伪图片的像素数， k表示标签总类别数， C表示聚类中心 矩阵， d×k表示中心 矩阵C的维度， y为像素 标签。权　利　要　求　书 1/2 页 2 CN 115081187 A 25.根据权利要求4所述无人驾驶环境分层特征建模方法， 其特征在于， 用聚类结果反向 传播训练到卷积神经网络收敛的过程 为： 根据像素标签y和 重构语义图 之间的像素误差损失对残差卷积神经网络Resnet50进 行反向传播， 计算残差卷积神经网络Resnet5 0的损失函数L oss如下式： 其中， 表示聚类标签的估计值； 判断损失函数Loss的计算结构是否已经收敛； 若收敛， 则代表残差卷积神经网络 Resnet50训练结束， 分层特 征完成聚类； 若未收敛， 则继续训练。 6.根据权利要求5所述无人驾驶环境分层特征建模方法， 其特征在于， 无人驾驶车辆包 括无人驾驶预测系统； 对交通智体进行编码得到交通智体层伪图片的步骤为： 将环境信息中的车辆、 行人、 非机动车进行标注， 以蓝色方框代表本车周边的其他车 辆、 行人、 非机动车， 不同深浅的颜色表示不同时刻的、 行人、 非机动车位置， 以颜色最深的 方框代表、 行人、 非机动车在当前的t时刻的位置， 将颜色逐渐变浅用以代表t+1、 t+2、 …、 t+ n时刻、 行人、 非机动车的位置， t时刻以后、 行人、 非机动车的位置由无人驾驶预测系统进 行 预测， 方框的大小 按Boundi ngBox的比例进行缩小， 标注完成后输出为交通智体层伪图片。 7.一种无人驾驶环境分层特征建模系统， 其特征在于， 包括环境信 息获取模块、 环境信 息分层编码模块、 环境信息分层特 征提取模块、 环境信息聚类模块； 所述环境信 息获取模块用于采集无人驾驶车辆自身周围的环境信 息， 并将信 息传送到 环境信息分层编码模块； 所述环境信息分层编码模块用于对环境信息进行分层编码， 得到交通智体层伪图片、 路网设施层伪图片、 临 时设施层伪图片、 气候环 境层伪图片、 交通规则层伪图片五个层次的 伪图片， 并将这五个层次的伪图片传送到环境信息分层特 征提取模块； 所述环境信息分层特征提取模块用于对交通智体层伪图片、 路网设施层伪图片、 临时 设施层伪图片、 气候环境层伪图片、 交通规则 层伪图片进行分层特征提取， 并将提取到的分 层特征传送到环境信息聚类模块； 所述环境信息聚类模块用于对分层特 征进行聚类以实现对环境信息的建模。 8.一种存储介质， 包括可执行程序， 其特征在于， 所述可执行程序被执行时实现权利要 求1至6任一项所述的无 人驾驶环境分层特 征建模方法。权　利　要　求　书 2/2 页 3 CN 115081187 A 3