(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210297715.2 (22)申请日 2022.03.24 (71)申请人 南京航空航天大 学 地址 210016 江苏省南京市秦淮区御道街 29号 (72)发明人 袁家斌　刘续　尚玉叶　赵冉　 邰爱兵　胡坤松　 (74)专利代理 机构 南京瑞弘专利商标事务所 (普通合伙) 32249 专利代理师 吴旭 (51)Int.Cl. G06V 10/80(2022.01) G06V 10/82(2022.01) G06V 10/774(2022.01) G06F 30/13(2020.01)G06F 30/27(2020.01) G06V 20/10(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06K 9/62(2022.01) G06V 10/44(2022.01) G06F 111/08(2020.01) (54)发明名称 一种基于机器视觉的机场特种车辆避障方 法 (57)摘要 本发明公开了一种基于机器视觉的机场特 种车辆避障方法， 包括以下步骤： 对机场场景仿 真， 使用单目摄像机和Velodyne  64线激光雷达 采集数据信息； 对传感器收集到的点云数据进行 预处理； 针对点 云数据采用RandLA ‑Net模型直接 处理训练数据集并对其进行特征提取； 使用卷积 神经网络ResNet对RGB图像进行特征提取； 将两 种类型的特征作为融合网络的输入， 通过组合并 抽象特征， 输出目标对象的3D边界框， 检测障碍 物信息， 实现避障。 本发明将融合后的多维度特 征信息首次应用于民航地勤车辆服务领域， 通过 识别障碍物， 实现机场特种车辆的安全 避障。 权利要求书2页 说明书5页 附图2页 CN 114863228 A 2022.08.05 CN 114863228 A 1.一种基于 机器视觉的机场特种车辆避障方法， 其特 征在于， 包括以下步骤： S1.对机场 场景仿真， 使用摄 像机和激光雷达采集数据信息； S2.对传感器收集到的点云数据进行 预处理； S3.针对点云数据采用RandLA ‑Net模型直接处 理训练数据集并对其进行 特征提取； S4.使用残差神经网络ResNet对RGB图像进行 特征提取； S5.融合两种类型数据， 通过对这些特征组合抽象， 输出目标对象的3D边界框， 检测障 碍物信息， 实现避障。 2.根据权利要求1所述的基于机器视觉的机场特种车辆避障方法， 其特征在于， 所述步 骤S1具体为： S11.使用Unity3D软件建立120m*120m的机场实时场景图， 将三维场景以.obj格式导 出； S12.将场景图导入blensor软件， 选用Velodyne  64线的激光雷达， 调整扫描距离为 120m， 将获取的点云数据保存为.pcd文件； S13.将单目摄 像机和激光雷达调整至相同角度， 采集图像， 作为实验需要的输入数据； S14.将.pcd文件导入CloudCompare软件， 给场景 中物体添加label标签， 保存为.txt文 本文件， 作为实验需要的输入数据。 3.根据权利要求1所述的基于机器视觉的机场特种车辆避障方法， 其特征在于， 所述步 骤S2具体为： S21.对场景进行网格采样， 将整个场景均匀划分为若干个立方体， 对每个立方体内的 点进行采样， 这里选取的网格边长为0.04体素， 在每一个网格中采用随机选取一个点的策 略， 所有采样后的数据用来训练模型； 假设原始场景具有N个点， 则随机采样后选取了n个 点； S22.对n个采样点的X， Y， Z三维坐标进行平移， 使得X， Y， Z均大于等于0， 对RGB颜色参数 进行归一 化操作； S23.对每一个场景中下采样后的点坐标建立KDTree， 其作用是代替传统的KNN算法， 以 便查找邻近点， 达 到使用下采样点预测原 始点的目的。 4.根据权利要求1所述的基于机器视觉的机场特种车辆避障方法， 其特征在于， 所述步 骤S3具体为： S31.基于欧式距离获取S23中每个采样点最近的K个邻近点,其中采样点的三维坐标表 示为pi， K个邻近点的三维坐标集 合表示为{pi1…pik…piK}； S32.将采样点的三维坐标pi， 邻近点k的三维坐标pik， 相对坐标(pi‑pik)以及欧式距离‖ pi‑pik‖连接形成相对点位置编码， 编码后的相对点位置坐标用rik表示， 计算公式为： S33.将邻近点k的三 维坐标pik对应的特征与编 码后的相对点位置坐标 连接到一起得 到新的点特征， 为了避免有用信息丢失， 将输出的邻近 点特征向量 聚合在一起 表示为采样点 i的局部几何特 征集合 计算公式为： S34.由于K个邻近点距离中心点的相对位置存在差异， 采用注意力机制来自动学习和权　利　要　求　书 1/2 页 2 CN 114863228 A 2聚合邻近点特征集中的有用信息； g( ·)是一个由多层感知机组成的共享函数， 为每个点学 习一个单独的分值， 称为注意力得分 计算公式为： 式中： W为共享多层感 知机的可学习权值； 最终得到的每个采样点i的特征 表示为所有邻域点特征和注意力得 分加权求和， 计算公式为： S35.为了保留点云的整体细节， 充分展现全局特征， 将步骤S31 ‑S34重复两次， 将感受 野由K个邻近点扩展到K2个领近点， 相比于直接增大K近邻搜索中 的K值而言， 这对增大每个 点的感受野以及促进邻域 点之间的特 征传播来讲是一种更加廉价高效的方式。 5.根据权利要求1所述的基于机器视觉的机场特种车辆避障方法， 其特征在于， 所述步 骤S4具体为： S41.网络的输入为224*224*3， 经过特征提取的5次卷积计算， 特征图大小为224/25* 224/25， 因此输出为7*7*2048， 然后池化层将其 转化成一个特 征向量。 6.根据权利要求1所述的基于机器视觉的机场特种车辆避障方法， 其特征在于， 所述步 骤S5具体为： S51.将步骤S34和S41得到 的特征向量作为输入， 以3D点作为密集的空间锚点， 经过若 干个全连接层后预测每一个点到附近盒角落 位置的空间偏移； S52.使用损失函数回归点云中每一个点的空间偏移量， 损失函数L包括地面实框与预 测框的偏 移损失函数、 得分损失函 数Lscore、 空间变换正则化损失函数Lstn， 损失函数L的计 算 公式为： 式中： n表示采样点的个数， 是地面实况框角落 位置和第i个输入点之间的偏移量， 包含预测的偏移量； S53.得分函数损失Lscore用来让网络学习点到最近目标框的空间偏移量， 有两个评分函 数， 分别为监督评分损失和非监督评分损失； 监督评分损失训练网络预测一个点是否在目 标框内， 将第 i个输入点的偏移回归损失表示为 二进制分类损失表示为 则监 督评分损失函数Lscore1的计算公式为： 其中： n表 示采样点的个数， mi∈{0， 1}， 用于表示第i个输入点是否在目标边界框中； 无监督评分损失 是为了让网络直接了解哪些点可能给出最佳假设， 训练网络的目的是为了产生良好预测的 点分配高可信度， 公式中包括两个相互竞争的损失项， 其中： 角落预测误差的得分与置信度 ci成比例， 则无监 督评分损失函数Lscore2的计算公式为： 其中： n表示采样点的个数,ω是权重因子， 取值为0.1； S54.选取 得分高的点 为预测结果， 得到物体的3D边界框 。权　利　要　求　书 2/2 页 3 CN 114863228 A 3