(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210313162.5 (22)申请日 2022.03.28 (71)申请人 天津福莱 迪科技发展 有限公司 地址 300000 天津市西青区西青经济技 术 开发区宏源道12号 （天直工业园17号） (72)发明人 朱奎锋　史涛　韩明轩　苏艳杰　 (74)专利代理 机构 天津市尚仪知识产权代理事 务所(普通 合伙) 12217 专利代理师 邓琳 (51)Int.Cl. G06V 20/58(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于改进Faster R-CNN的目标检测算 法 (57)摘要 本发明涉及了一种基于改进Faster  R‑CNN 的目标检测算法， 属于数字图像处理技术领域。 本发明基于Faster  R‑CNN模型对目标 图像分类 识别和边界回归的一般原理， 在基础卷积网络、 多尺度特征融合 以及加入注意力机制和利用生 物视觉的稀疏特性方面对Faster  R‑CNN网络模 型做出改进， 为验证所提出模型的性能， 采用了 CTSDS数据集， 并在分析现实中存在的影响交通 标志检测性能的基础上， 对数据集的部分样本做 遮挡、 加噪处理， 实现数据增广。 通过对 该模型进 行仿真实验， 证明了改进的网络模型对5类目标 检测的平均精度显著提高和所提模型的有效性。 权利要求书2页 说明书9页 附图7页 CN 114973184 A 2022.08.30 CN 114973184 A 1.一种基于改进Faster  R‑CNN的目标检测算法， 其特征在于： 为丰富顶层特征图的特 征进而在原模型的基础上引入了残差连接并在4个池化层前依次加入空洞率r ate为2、 3、 5 和7的空洞 卷积， 为保证生成的特征图尺寸大小与未卷积前的特征图一致， 在Padding的设 置上需做到与r ate的值相同， 因为对于步长为1、 大小为3 ×3、 空洞率为1的卷积核来说， 若 要对一个大小为7 ×7的特征图进行特征提取的同时， 还要生成大小为7 ×7的特征图， 这时 必须将Padding设为1； 当用空洞率为2、 大小为3 ×3的卷积核时， 等同于用大小为5 ×5的卷 积核进行卷积， 同样为生成大小为7 ×7的特征图， 须将Padding设为2； rate为3、 5和7亦然； 其中在改进模型的第一部分中共 包含两个模块， 并在最大池化层前加入空洞卷积； 为实现addition层的运算， 除空洞卷积外的其它卷积的Padding设为Same； /3 ×3表示 卷积核的大小为3 ×3； conv.16代表卷积核的个数为16， 其它 亦然； s1表示步长为1， s2表示 步长为2； 在以上模块中， 添加BN （Batch ‑ Normalization） 层的目的是为了提高网络模型的 收敛速度和泛化能力； 同时将原Faster  R‑CNN模型的激活函数ReLU替换为LeakyReLU， 相较 ReLU， LeakyReLU在一定程度上避免了负半轴神经 元衰亡的现象发生。 2.根据权利 要求1所述的一种基于改进Faster  R‑CNN的目标检测算法， 其特征在于： 在 对原模型作出改进的第二部 分模块中， 用多尺度特征提取与融合的方法对第一部分模块的 顶层特征图再次进行不同尺度的特征提取； 在多尺度特征提取的基础上依据感受野相同的 理论将卷积核进行等价， 具体就是用几个3 ×3卷积核去替代5 ×5卷积核和7 ×7卷积核， 这 样做可以在3 ×3的卷积核之间增加更多的非线性激活函数进而提高模型的泛化能力； 最后 运用生物视觉系统的稀疏性对以上网络结构进行优化， 具体就是将3 ×3的卷积核进行拆 分。 3.根据权利 要求1所述的一种基于改进Faster  R‑CNN的目标检测算法， 其特征在于： 在 对原模型作出改进的第三部 分模块中引入了生物视觉的注意力机制， 对于高等生物尤其是 人类来说， 注意力机制有着相当重要的作用， 因为从信息的角度来看， 它能够在极短的时间 内将重要信息和次要信息区分开来； 从能量的角度来看， 它能够使生物视觉规避在次要信 息中的能量消耗， 进 而将有限的能量与精力分配给重要信息； F代表特征图， M代表通过Softmax函数从特征图F中学习到的注意力图， G代表通过将特 征图F和注意力图M相对应的通道的值求哈达玛积进而得到的注意力特征图； 该模型的主要 作用就是在模型的训练过程中， 依据图像标签及目标函数， 通过Softmax函数使M中的图像 目标的期 望区域数值相对F较大一些， 然后通过求哈达玛积就更凸显特征图F中相对应的目 标区域的数值， 而G正是 该数值较大的特 征的集合。 4.根据权利 要求1所述的一种基于改进Faster  R‑CNN的目标检测算法， 其特征在于： 构 造了一种注意力模型： 首先使用全局平均池化对个数为2N的特征图做特征压缩， 输出2N个 数值， 然后利用N个步长为1、 大小为1 ×1的卷积核做通道压缩， 形成瓶颈层， 目的是减少计 算参数， 之后再利用2N个步长为1、 大小为1 ×1的卷积核做通道数的恢复， 同时需要在这两 个1×1的卷积层之间加入非线性激活函数LeakyReLU， 而后再用BN层对通道的权重做归一 化处理， 最后将归一 化处理的特征与2N个原特 征图的对应通道求哈达 玛积。 5.根据权利 要求1所述的一种基于改进Faster  R‑CNN的目标检测算法， 其特征在于： 采 用了CTSDS来验证模型的有效性， 其中该数据集分为五个类别， 分别为限高、 限速、 限重、 警 告和禁止； 为了得到性能上更加稳定的分类模型， 可以先分析针对在现实中交通标志会出权　利　要　求　书 1/2 页 2 CN 114973184 A 2现的影响分类器性能提高的因素， 通过分析了解了在现实中会存在以下六种情况： 一是受 自然环境中天气状况的影响， 比如雨天， 雾天等， 从而影响图像的清晰度和亮度； 二是在自 然条件和人为的影响下， 交通标志在烈日灼晒、 雨水冲刷会出现褪色和掉漆的现象； 三是 受 自然中不可控力和人为自主或非自主的影响下， 交通标志会出现变形和扭转现象； 四是在 数据集的收集过程中， 由于相机的拍摄角度和相机距离交通标志的距离导致拍摄的照 片出 现模糊和扭曲的现象发生； 五是存在周围建筑物， 来往行车， 树木等的遮挡； 六是由于距离 交通标志太过于 遥远， 交通标志会呈现一个缩小的像， 具体表现就是小目标； 存在的六种情况中， 一方面可以采取的措施就是在采集交通标志图片的过程中做到有 针对性的采集， 比如在不同天气情况下采集图片， 同时还可以加大对褪色， 掉漆， 变形， 扭 转， 模糊的交通标志的采集力度， 另一方面可以运用数据增强的手段来模拟交通标志在现 实中真实存在的情况， 采 取添加‑5dB、 0dB、 5dB和10dB高斯噪声的方式来模拟现实 中交通标 志会出现存在污点的情况； 通过对 数据集部 分图像的东、 西、 南、 北、 东南、 东北、 西南和西北 八个方位添加5%、 10%、 15%和20%的不同程度的遮挡以模拟现实中存在的遮挡情况， 从而使 数据集更加完备， 进 而利用以上增广后的数据集训练模型， 以提高检测性能； 增广后的数据 集， 每个类别的图片数量为2000 张， 其中将数据 集按照95%和5%的比例将 其拆分为大小为9500的训练集和500的测试集； 对于训练集的标签标记， 采用了MATLAB的 Image Labeler APP对含有9500张图片的训练集进行 逐一标记。权　利　要　求　书 2/2 页 3 CN 114973184 A 3