(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210352291.5 (22)申请日 2022.04.05 (71)申请人 哈尔滨理工大 学 地址 150080 黑龙江省哈尔滨市学府路52 号哈尔滨理工大 学 (72)发明人 张开玉　苏雪梅　 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于YOLOv5改进的车辆检测与识别方 法 (57)摘要 本发明提供了一种基于YOLOv5改进的车辆 检测与识别方法， 其方案 是： （1） 对公开的车辆检 测数据集BDD100k进行预处理； （2） 引入Dense   Block模块， 通过Dense  Block网络密集连接的方 式来进行特征信息的复用， 从而缓解特征信息丢 失的问题； （3）加入Transformer网络， 通过 Transformer中多头注意力机制 （Multi ‑head  Attention） 来增强有效特征； （4） 对改进后的网 络进行训练和测试。 本发明在公开的车辆检测数 据集BDD100k上得到了良好的检测效果， 提高了 车辆的检测精度， 可用于无人驾驶领域， 为人们 带来便利。 权利要求书2页 说明书4页 附图2页 CN 114723992 A 2022.07.08 CN 114723992 A 1.一种基于YOLOv5网络改进 的车辆检测算法， 其特征在于： 所述方法主要通过以下步 骤实现： （1） 获取 车辆检测数据集BD D100k， 并对数据集进行 预处理； （1‑1） 数据集包含10000张图片； 由于本发明特定的应用场景， 忽略BDD100k数据集中 Light、 Sign、 Person、 Bike、 Rider这几种类别； 将每一张图片对应标签的json格式通过 python脚本转换为xml文件； xml文件包含图片名称、 图片路径、 目标标签名称以及目标位置 坐标； （1‑2） 将Bus、 Truck、 Motor、 Car、 Train统一归为Car类； 将统一类别之后的图片及标签 xml文件按照VOC格式进行存 储； 在VOC文件夹下创建Annotations、 JPEGImages两个文件夹用来存储图片和标签； Annotations文件夹中存 储每一个标签xml文件， JPEGIma ges文件夹中存 储所有图片； （1‑3） 使用python脚本将创建好的VOC格式的数据 集随机按照8： 2划分为训练集和测试 集， 同时把数据集标签 格式转换成yo lo适用的txt格式； （2） 基于DenseNet网络密集连接的思想， 将主干网络中的两个CSP1_3模块中的残差网 络结构Resun it替换为Dense  Block模块； Dense Block模块包括三层卷积层数， 每一层卷积都包括 （BN+ReLU+1*1  Conv） + （BN+ ReLU+3*3  Conv） ； 设置Dense  Block中的增长率k为32， 保证每一层经过3*3卷积之后， 都只 输出32个Channel， 之后与前面层的输入进行拼接， 将拼接后的Channel数再作为下一层的 输入； （3） 在主干网络S PP模块之后加入Transformer网络； Transformer网络中， 数据首先会经过一个Multi ‑Head attention的模块， 该模块包括 8个Self‑Attention， 得到8个加权之后的特征矩阵； 将8个按列拼成一个大的特征矩阵； 经 Multi‑Head attention输出之后经过一个全连接层 （Feed  Forward Neural Network） ， 这 个全连接有两层， 第一层的激活函数是ReLU， 第二层是一个线性激活函数； 最终经 Transformer层输 出特征图为 （512， 512， 20， 2 0） ； 最后将主干网络的输出经neck部分进行多 尺度特征的融合； （4） 对改进后的网络进行训练和 测试。 2.根据权利 要求1所述的一种基于YOLOv5网络改进的车辆检测算法， 其特征在于： 输入 3通道的640*640的图片， 经Focus切片操作后输出 （3， 32， 320， 320） ， 后连接Conv输出 （32， 64， 160， 160） ， 连接层BottlenecCSP1 ‑1输出 （64， 64， 160， 160） ， 连接Conv层输出 （64， 128， 80， 80） ， 连接DenseBlockCSP1_3层输出 （128， 128， 80， 80） ， 连接层Conv输出 （1128， 256， 40， 40） ， 连接DenseBlockCSP1_3输出 （256， 256， 40， 40） ， 连接层Conv输出 （256， 512， 20， 20） ， 连 接层SPP输出 （512， 512， 20， 20） 。 3.根据权利 要求1中所述的一种基于YOLOv5网络改进的车辆检测算法， 其特征在于： 所 述步骤 （3） 中， 经前层SPP输 出 （512， 512， 20， 2 0） ； 之后连接Tran sformer层， Tran sformer中， 数据首先会经过一个Mu lti‑Head attention的模块， 该模块包括8个self ‑Attention， 得到 8个加权之后的特征矩阵； 将8个按列拼成一个大的特征矩阵； 经Multi ‑Head attention输 出之后经过一个全 连接层 （Feed  Forward Neural Network） ， 这个全 连接有两层， 第一层的 激活函数是ReLU， 第二层是一个线性激活函数， 最终经Transformer层输出 （512， 512， 20，权　利　要　求　书 1/2 页 2 CN 114723992 A 220） ； 最后将主干网络的输出 经neck部分进行多尺度特 征的融合。 4.根据权利 要求1中所述的一种基于YOLOv5网络改进的车辆检测算法， 其特征在于： 所 述步骤 （4） 中， 设置迭代次数epoch为300， batch ‑size为4， 初始学习率为0.01， 经过300次迭 代训练， 损失值与平均精度 （AP） 均趋 于稳定， 保存此时的最佳模型参数； 模型测试采用的模型评价指标精准率 （Precision） 、 召回率 （Recall） 、 平均精度 （AP） 如 下： 其中，  为将正类预测为正类的数， 为将正类 预测为负类的数， 为将负类 预测为 正类的数， 为将负类预测为负类的数， Precision即正确检测到的样本数占总样本数的 比例， Recall即正确检测到的样本数占真实样本数的比例， 平均精度 （AP） 即在不同下的最 高的均值。权　利　要　求　书 2/2 页 3 CN 114723992 A 3