(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210481982.5 (22)申请日 2022.05.05 (71)申请人 湖南大学 地址 410082 湖南省长 沙市岳麓区麓山 南 路麓山门 申请人 广西玉柴新能源 汽车有限公司 (72)发明人 宋凯　陈韶华　周从源　高俊伟　 (74)专利代理 机构 长沙惟盛赟鼎知识产权代理 事务所(普通 合伙) 43228 专利代理师 黄敏华 (51)Int.Cl. G06T 7/00(2017.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于人工智能的复杂工况下路面病害高精 度提取识别方法 (57)摘要 本发明涉及一种基于人工智能的复杂工况 下路面病害高精度提取识别方法， 包括： 提供一 个路面病害识别模型， 路面病害识别模型将输入 的路面病害图片与输出的路面病害类型对应； 其 中， 路面病害识别模型基于图片上的路面病害对 象生成相应的路面病害特征， 由路面病害特征与 输出的路面病害类型对应； 路面病害特征生成 时， 基于路面病害图片多层 级地提取路面病害特 征， 第一层级基于原路面病害图片提取路面病害 特征， 其后的每一层级皆基于上一层级提取路面 病害特征； 由最后一层级提取出的路面病害对象 主体特征图与路面病害对象轮廓特征图相融合， 以生成最后的特征图， 与相应的路面病害类型相 对应。 本发 明能在复杂工况下高精度的检测路面 病害类型。 权利要求书3页 说明书10页 附图4页 CN 114881966 A 2022.08.09 CN 114881966 A 1.一种基于人工智能的复杂工况下路面病害高精度提取识别方法， 其特征在于， 具体 包括如下步骤： 提供一个路面病 害识别模型， 所述路面病 害识别模型将输入的路面病 害图片与输出的 路面病害类型对应； 其中， 所述路面病害识别模型基于 图片上的路面病害对象生成相应的路面病害特征， 由所述路面病害特 征与输出的路面病害类型对应； 路面病害特征生成时， 基于路面病害图片多层级地提取路面病害特征， 第一层级基于 原路面病害图片提取路面病害特 征， 其后的每一层级皆基于上一层级提取路面病害特 征； 由最后一层级提取出的路面病 害对象主体特征图与路面病 害对象轮廓特征图相融合， 以生成最后的特 征图， 与相应的路面病害类型相对应。 2.根据权利要求1所述基于人工智能的复杂工况下路面病害高精度提取识别方法， 其 特征在于， 训练路面病害识别模型的数据集的制作具体包括如下步骤： 首先通过高分辨率摄像机采集若干道路上不同类型路面病 害的图片， 然后基于几何变 换方式， 采用旋转、 裁剪图像的方式对图像数据进一步扩增， 再基于Retinex图像增强算法 对图像数据进一步处理， 以扩增图像数据， 然后使用LabelImg工具完成路面病害对象的边 框位置信息定制化的标注， 生成对应XML文件， 经标注后得到的数据集， 其中90％的数据用 于训练集， 剩余10％的数据用于测试集。 3.根据权利要求1所述基于人工智能的复杂工况下路面病害高精度提取识别方法， 其 特征在于， 路面病害识别模型的构建方式如下: 以Faster  RCNN模型为主体模型： 用于特征提取的backbo ne主干网络 选择为ResNet1 10网络结构。 4.根据权利要求3所述基于人工智能的复杂工况下路面病害高精度提取识别方法， 其 特征在于， 在ResNet1 10网络结构中： 输入图像的尺寸 为600×600， 维度为3； 第一个卷积层中， 卷积核的个数是为64， 尺寸为7 ×7， 步长为2， 经第一层 特征提取得到 的特征层大小为3 00×300×64， 即提取到的特 征图的尺寸 为300×300， 个数为64； 第二层为最大池化层， 卷积核的尺寸为3 ×3， 步长为2， 经第二层特征提取得到的特征 层大小为15 0×150×64， 即提取到的特 征图的尺寸 为150×150， 个数为64； 第三层卷积层中堆叠4个残差模块； 其中， 每个残差模块中有3通道的卷积核； 其中一个通道中的卷积核的尺寸是1 ×1， 个数为64； 另一个通道中的卷积核的尺寸是3 ×3， 个数为64； 余下一个通道中的卷积核的尺寸是1 ×1， 个数为25 6； 第四层卷积层中堆叠8个残差模块； 其中， 每个残差模块中有3通道的卷积核； 其中一个通道中的卷积核的尺寸是1 ×1， 个数为64； 另一个通道中的卷积核的尺寸是3 ×3， 个数为128； 余下一个通道中的卷积核的尺寸是1 ×1， 个数为512； 第五层卷积层中堆叠21个残差模块；权　利　要　求　书 1/3 页 2 CN 114881966 A 2其中， 每个残差模块中有3通道的卷积核； 其中一个通道中的卷积核的尺寸是1 ×1， 个数为25 6； 另一个通道中的卷积核的尺寸是3 ×3， 个数为25 6； 余下一个通道中的卷积核的尺寸是1 ×1， 个数为1024个； 第六层卷积层中堆叠 3个残差模块； 其中， 每个残差模块中有3通道的卷积核； 其中一个通道中的卷积核的尺寸是1 ×1， 个数为512个； 另一个通道中的卷积核的尺寸是3 ×3， 个数为512个； 余下一个通道中的卷积核的尺寸是1 ×1， 个数为2048个； 第六层卷积层输出的特征层大小为18 ×18×2048， 即提取到 的特征图尺寸为18 ×18， 个数为2048个。 5.根据权利要求4所述基于人工智能的复杂工况下路面病害高精度提取识别方法， 其 特征在于， 在第三至六层卷积层后面都设置一个CA 注意力模块， 具体包括依次设置的： 全局平均池化层， 其中卷积核的尺寸是1 ×1； 全连接层， 其 中输入的特征经过C/r个1x1卷积， r是通道降比， C是通道数， C/r得到卷积 核个数； 非线性层， 其中， 输入的特 征图经过C/r个1x1卷积； 全连接层， 其中卷积核的尺寸是1 ×1， Sigmoid激活函数， 其中卷积核的尺寸是1 ×1； Re‑wight层， 使提取到的特征图再与输入全局平均池化层的特征图相乘， 将每个通道 重新赋予权 重， 以重生成特 征图。 6.根据权利要求5所述基于人工智能的复杂工况下路面病害高精度提取识别方法， 其 特征在于， 其中， 主干特征提取网络最后一层CA模块连接一个RPN模 型， 用于RPN模 型生成候 选窗口以框选出路面病害对象主体所在具体位置； 并提取出具有路面病害对象主体的候选 框路面病害特征图； 与最后一层CA模块提取的路面病害对象轮廓特征图相融合， 以生成相 应的融合特征图， 并构建最后的全连接层， 融合特征图转换为特征向量后， 经最后的全连接 层与路面病害类型对应。 7.根据权利要求6所述基于人工智能的复杂工况下路面病害高精度提取识别方法， 其 特征在于最后的全连接层中： 将激活函数ReLu调整， 并改称作NReLu， 公式如下： x<0则等于0， x是输入数据， k权 重系数。 8.根据权利要求7所述基于人工智能的复杂工况下路面病害高精度提取识别方法， 其 特征在于， 在第一层卷积层提取原图像特征之前， 先调整Anchor  box生成矩形框算法的网 络结构； 通过扫描训练集标注的所有边框信息， 划分矩形框的种类， 具体步骤如下： (1)假设生成K， K>0种anchor  box， 首先遍历标注好的训练样本， 并计算出矩形框的宽 度w、 高度h；权　利　要　求　书 2/3 页 3 CN 114881966 A 3