(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210630725.3 (22)申请日 2022.06.06 (71)申请人 西安电子科技大 学 地址 710071 陕西省西安市太白南路2号 (72)发明人 陈照东　姬红兵　张文博　张靖宇　 刘东　 (74)专利代理 机构 西安智大知识产权代理事务 所 61215 专利代理师 段俊涛 (51)Int.Cl. G06V 20/40(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/44(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) (54)发明名称 一种基于多感受野与深度特征的弱小目标 检测方法 (57)摘要 一种基于多感受野和深度卷积神经网络的 弱小目标检测方法。 首先通过机载或车载摄像头 获取序列图像； 然后使用多感受野 特征提取算法 对每一帧图像进行特征提取， 在不增加参数量的 情况下获得混合感受野特征； 随后将混合感受野 特征送入深度卷积神经网络进行深度特征提取； 接着使用多感受野特征聚合算法对深度特征进 行不同范围上下文信息的提取与整合， 输出一组 多感受野聚合特征； 再将感受野聚合特征送入改 进的路径聚合网络进行多尺度融合， 输出一组深 度融合特征； 最后对深度融合特征分别进行弱小 目标框位置的回归和类别的判定。 本发明可准确 检测出图像或视频中的弱小目标并正确分类， 为 后续弱小目标检测与识别领域的研究提供支持。 权利要求书2页 说明书5页 附图3页 CN 115115973 A 2022.09.27 CN 115115973 A 1.一种基于多感受野与深度特 征的弱小目标检测方法， 其特 征在于， 包括以下步骤： S1： 通过机载或车 载摄像头获取序列图像； S2： 使用多感受野特征提取算法对输入的每一帧图像I进行特征提取， 在不增加参数量 的情况下获得混合感受野特 征； S3： 将S2得到的混合感受野特 征送入深度卷积神经网络进行深度特 征提取； S4： 使用多感受野特征聚合算法对S3得到的深度特征进行不同范围上下文信息的提取 与整合， 输出一组多感受野聚合特 征f1*； S5： 将S4得到的多感受野聚合特征f1*送入改进的路径聚合网络进行多尺度融合， 输出 一组深度融合特 征fu； S6： 对S5得到的深度融合特 征fu进行弱小目标框位置的回归和类别的判定 。 2.根据权利要求1所述基于多感受野与深度 特征的弱小目标检测方法， 其特征在于， 所 述步骤S2中， 多感受野特 征提取算法包括： S21： 使用四个并联的膨胀系数不同的膨胀卷积块DC1,DC2,DC3,DC4分别对初 始输入图像 提取多层次特 征； S22： 将S21得到的四组特 征合并成一组特 征； S23： 将S22得到 的一组特征送入由一个3 ×3卷积层， 一个BN层以及一个SiLu层级联组 成模块中， 输出混合感受野特 征。 3.根据权利要求2所述基于多感受野与深度 特征的弱小目标检测方法， 其特征在于， 所 述步骤S21中， 膨胀卷积块DCn由一个步长为1的1 ×1卷积层， 一个膨胀系数为n、 步长为1的3 ×3膨胀卷积层， 一个BN层以及一个Si Lu层级联组成， 其中n 等于1、 2、 3或4。 4.根据权利要求3所述基于多感受野与深度 特征的弱小目标检测方法， 其特征在于， 所 述步骤S3中， 深度特 征提取的过程包 含： S31： 将S2输出的混合感受野特 征送入一个CBS模块， 输出2倍下采样的特 征图p2； S32： 将S31得到的p2送入一个C 3模块， 输出p'2； S33： 将S32得到的p'2送入一个CBS模块， 输出4 倍下采样的特 征图p4； S34： 将S3 3得到的p4送入一个C 6模块， 输出p'4； S35： 将S34得到的p'4送入一个CBS模块， 输出8倍下采样的特 征图p8； S36： 将S35得到的p8送入一个C9模块， 输出p'8； S37： 将S3 6得到的p'8送入一个CBS模块， 输出16倍下采样的特 征图p16； S38： 将S37 得到的p16送入一个C12模块， 输出p1'6。 5.根据权利要求4所述基于多感受野与深度 特征的弱小目标检测方法， 其特征在于， 所 述CBS模块由一个步长为2的3 ×3卷积， 一个BN层以及一个SiLu层级 联组成； 所述C3模块、 C6 模块、 C9模块、 C12模块分别由3、 6、 9、 12 个C模块级 联组成； 所述C模块由一个3 ×3卷积层， 一 个BN层以及一个Si Lu层级联组成。 6.根据权利要求5所述基于多感受野与深度 特征的弱小目标检测方法， 其特征在于， 所 述步骤S4中的多感受野特 征聚合算法包括： S41： 将S38得到的深度特征依 次通过四个级联的不同膨胀比率的膨胀卷积块DC1,DC2, DC3,DC4； S42： 将S41中各个膨胀卷积块输出的四组特 征拼接成一组特 征；权　利　要　求　书 1/2 页 2 CN 115115973 A 2S43： 使用一个1 ×1卷积层调整S42中输出 特征各通道的权值。 7.根据权利要求6所述基于多感受野与深度 特征的弱小目标检测方法， 其特征在于， 所 述步骤S5中进行多尺度融合包括： S51： 对S4得到的多感受野聚合特 征f1*进行上采样操作， 输出p'8'； S52： 将S36得到的p'8与S51得到的p'8'进行拼接后送入一个C3模块， 输出一 组混合尺度 特征； S53： 使用多感受野特征 聚合算法对S52得到的混合尺度特征进行上下文信息的提取与 整合， 输出一组多感受野聚合特 征 S54： 对S5 3得到的 进行上采样操作， 输出p'4'； S55： 将S34得到的p'4与S54得到的p'4'进行拼接后送入一个C3模块， 输出一 组深度融合 特征fu。 8.根据权利要求7所述基于多感受野与深度 特征的弱小目标检测方法， 其特征在于， 所 述步骤S51或S54中的上采样 操作包括： S511： 将f1*或f2*送入一个由1 ×1卷积层、 BN层、 SiLu层级联组成的模块中， 输出一组整 合特征图； S512： 使用双线性插值法对S51 1得到的整合特 征图进行 上采样， 使其分辨 率翻倍。 9.根据权利要求7所述基于多感受野与深度 特征的弱小目标检测方法， 其特征在于， 所 述步骤S6中， 目标框位置的回归和类别的判定包括 S61： 通过全连接层将S5得到的深度融合特征fu映射到一个新的特征空间， 然后再经过 一个1×1卷积层， 输出一个通道数为5的三 维张量， 前四个通道分别回归弱小目标的中心 点 x、 y坐标与真实值的偏移量以及宽、 高与真实值的偏移量； S62： 通过全连接层将S5得到的深度融合特征fu映射到另一个新的特征空间， 然后 再经 过一个1×1卷积层， 输出一个三维张量表示目标所属类别的概率， 其通道数为数据库目标 类别的总数。 10.根据权利要求1所述基于多感受野与深度特征的弱小目标检测方法， 其特征在于， 检测模型 所有参数均通过端到端训练得到 。权　利　要　求　书 2/2 页 3 CN 115115973 A 3