(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210464734.X (22)申请日 2022.04.29 (71)申请人 杭州电子科技大 学 地址 310018 浙江省杭州市钱塘新区白杨 街道2号大街1 158号 (72)发明人 温子涵　倪玮　李丹峰　林静怡　 侯津涛　 (51)Int.Cl. G06V 20/54(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于改进FCOS和嵌入分组的双轮车头 盔检测方法 (57)摘要 本发明公开了一种基于改进FCOS和嵌入分 组的双轮车头盔检测方法， 包括如下步骤： S1、 通 过获取双轮车道路的图像数据， 并制作双轮车头 盔检测数据集； S2、 双轮车头盔检测数据集的预 处理； S3、 构建基于改进FCOS和关联分组的目标 检测模型； S4、 利用随机梯度下降法对构建的基 于改进FCOS和关联分组的目标检测模型进行优 化。 既利用改进后FCOS目标检测算法进行像素级 别的预测， 大幅减少模型训练参数量， 并且满足 高精度和实时性的要求， 又能将检测任务和分组 任务整合在一个网络中， 通过余弦相似度衡量预 测分组与真实分组及不同预测分组之间的成员 分布差异， 准确匹配双轮车与骑乘人员。 权利要求书4页 说明书10页 附图6页 CN 114708562 A 2022.07.05 CN 114708562 A 1.一种基于改进FCOS和嵌入分组的双轮车头盔检测方法， 其特 征在于， 包括如下步骤： S1、 通过获取双轮车道路的图像数据， 并制作双轮车头盔检测数据集； S2、 双轮车头盔检测数据集的预处 理； S3、 构建基于改进FCOS和关联分组的目标检测模型 S3‑1、 对输入的图像进行 特征提取， 输出多尺度的特 征图； S3‑2、 输入多尺度的特 征图， 实现局部双向的特 征融合； S3‑3、 构建包含4个分支的检测器， 实现分类， 回归， 中心度和分组， 输出为类别标签、 边 界框和分组信息， 计算分类、 回归、 中心度和分组的损失； S4、 利用随机梯度下降法对构建的基于改进FCOS和关联分组的目标检测模型进行优 化。 2.根据权利要求1所述的基于改进FCOS和嵌入分组的双轮车头盔检测方法， 其特征在 于， 所述步骤S1包括： S1‑1、 利用OSF公开的交通道路采集的910段 连续帧， 共获取54 48张双轮车道路图像； S1‑2、 按照Pascal  VOC数据集标注格式， 制作双轮车头盔检测数据集数据集。 3.根据权利要求1所述的基于改进FCOS和嵌入分组的双轮车头盔检测方法， 其特征在 于， 所述步骤S2中的预 处理方法为： 对双轮车头盔检测数据集中佩戴头盔的骑乘人员头部、 未佩戴头盔的骑乘人员头部、 双轮车、 行人和自行车分别进行定位、 类别以及分组ID标注， 并将数据集遵循一定比例和数据分布划分为训练集、 验证集和 测试集。 4.根据权利要求1所述的基于改进FCOS和嵌入分组的双轮车头盔检测方法， 其特征在 于， 所述步骤S3‑1中， 图像特 征提取的方法为： S3‑1‑1、 用ResNet ‑50作为主干网络提取特征， 将高为H、 宽为W、 通道数为3的RGB图像I ∈RH×W×3输入， 记为(H,W,3)， 其中R为实数域， 依次经 过5个阶段； S3‑1‑2、 阶段1视为对输入(H,W,3)的预处理， 先后经过卷积层、 B N层、 ReLU激 活函数、 最 大池化层输出分辨率为原始图像的1/4， 通道数为64； 其中卷积层卷积核大小为7 ×7， 卷积 核的数量为64,即该卷积层输出的通道数， 卷积核步长为2； 最大池化层卷积核 大小为3×3， 步长为2； S3‑1‑3、 阶段2～5均运用带有跳跃连接的残差块、 以及降采样残差块， 另外， 阶段2～5 的降采样残差块的主干 分支上增加1 ×1的卷积操作； 阶段2、 阶段3、 阶段4和阶段5都由降采 样残差块开始， 分别紧接2个、 3个、 2个和5个残差块； ResNet ‑50的阶段2～5分别输出4张特 征图， 分辨 率依次为原 始图像的1/4， 1/8， 1/16， 1/ 32， 通道数依次为25 6， 512， 1024， 2048； S3‑1‑4、 选择ResNet ‑50阶段3、 阶段4、 阶段5输出的特征图C3、 C4、 C5作为输出； ResNet ‑ 50中有相同分辨率输出的网络层为同一阶段的网络层， 将阶段i最后一层输出的特征图Ci 称为此阶段提取的特 征图。 5.根据权利要求4所述的基于改进FCOS和嵌入分组的双轮车头盔检测方法， 其特征在 于， 所述步骤S3‑2中， 局部双向的特 征融合方法为： S3‑2‑1、 设计局部双向融合的特征金字塔网络， 双轮车及头盔在图像中的尺度较均衡 且普遍位于25 6×256以下； S3‑2‑2、 Partial ‑FPN在FPN 的基础上增加局部的自底向上的特征融合， 将不同大小的 目标在不同尺度的特 征图上检测， 输出的5张特 征图定义 为{P3,P4,P5,P6,P7}；权　利　要　求　书 1/4 页 2 CN 114708562 A 2S3‑2‑3、 将C3、 C4、 C5特征图输入到Partial ‑FPN中， 先自上而下进行特征 融合， 然后自下 而上进行特征融合， 使用3 ×3的卷积消除混叠效应， 得到P3、 P4和P5； P6和P7分别由P5和P6通 过步长为2的卷积层产生。 6.根据权利要求5所述的基于改进FCOS和嵌入分组的双轮车头盔检测方法， 其特征在 于， 所述步骤S3‑3中， 包括如下子步骤： S3‑3‑1、 真值为Bi， 其中 和 分别是真值边界 框的左上角和右下角顶点坐标， c(i)是真值的类别， 使用中心采样策略在真值边界框中定义 子框(cx‑rs,cy‑rs,cx+rs,cy+rs)， 其中(cx,cy)是真值边界框的中心， s是特征图的步长， r是 超参数， r＝1.5； 对于特 征图上的每 个位置(x,y)， 按照如下公式将其映射到原 始图像上： 若位于上述子框内， 则认为是正样本， 类别标签c*的值为该真值边界框的类别标签的 值； 否则为负 样本， c*＝0； S3‑3‑2、 以4维实向量t*＝(l*,t*,r*,b*)作为所述位置的回归目标， 其中l*,t*,r*,b*为 到边界框四条边的距离， l即left， t即top， r即right， b即bottom； 计算t*所使用的公式如 下： 其中， 使用特征图的步长s对回归目标进行缩 放， 由于4个回归 值l*,t*,r*,b*都要大于0， 最后输出采用ReLU来保证回归值的范围为(0， +∞)； S3‑3‑3、 检测器包括两个独立的4层卷积网络， 卷积核大小为3 ×3， 通道数为256； 其一 分支用于产生类别预测结果和分组预测结果， 该分支简称为分类分支； 另一分支用于产生 中心度和边界框的回归结果， 其中， 中心度记为center ‑ness， 此分支简称为回归分支； S3‑3‑4、 检测器网络的最后一层预测一个C维的向量p作 为类别标签和一个4维 向量t＝ (l,t,r,b)表示边界框的坐标； 其中， C表示类别数， 分别为佩戴头盔的骑乘人员头部、 未佩 戴头盔的骑乘人员头部、 双轮车、 行人、 自行车； 分类检测器最终输出H ×W×5的特征向量， 回归检测器最终输出H ×W×4的特征向量； S3‑3‑5、 所述步骤S3 ‑3‑3中， center ‑ness用于抑制偏离目标 中心位置所预测的低质量 检测框， 输出为H ×W×1的特征向量； center ‑ness预测一个值： 当前位置与预测物体中心点 之间的归一化距离， 分布在[0， 1]之间； 对于给定的回归目标t*＝(l*,t*,r*,b*)， center ‑ ness可公式化表示 为： 其中， 由于center ‑ness的值分布在0～1之间， 训练采用Binar y Cross Entropy loss, 在测试阶段， 最终的置信度为center ‑ness和分类概 率的乘积； S3‑3‑6、 通过限制不同特征图上目标的回归值， 实现不同尺度的目标在特征图上的分 配； 每个特征图Pi设定回归值的下限值 mi‑1和上限值 mi， i∈{3,4,5,6,7}， m2， m3， m4， m5， m6， m7 分别设定为0， 64， 128， 25 6， 512， +∞,使用公式可表示 为：权　利　要　求　书 2/4 页 3 CN 114708562 A 3