(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210373551.7 (22)申请日 2022.04.11 (71)申请人 北京航空航天大 学 地址 100191 北京市海淀区学院路37号 (72)发明人 白相志　孙衡　 (74)专利代理 机构 北京慧泉知识产权代理有限 公司 11232 专利代理师 王顺荣　唐爱华 (51)Int.Cl. G06V 10/143(2022.01) G06V 10/25(2022.01) G06V 10/26(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) (54)发明名称 一种利用多方向性特征构造卷积神经网络 的红外弱小目标检测方法 (57)摘要 本发明提出一种利用多方向性特征构造卷 积神经网络的红外弱小目标检测方法， 该方法步 骤如下： 步骤一： 基于多方向特征搭建卷积神经 网络； 首先提取浅层特征并使用多方向性注意力 进行目标特征增强； 随后使用骨干网络对增强后 的浅层特征进行四组特征提取； 随后将提取的四 组特征通过特征融合模块拼接降维后与浅层特 征进行高低级特征融合； 最后通过全 卷积网络逐 像素预测， 得到全图像像素级别的概率预测图； 步骤二： 构造损失函数对网络进行训练； 使用预 测结果与像素级标签进行损失计算， 以实现对网 络参数的训练； 输出： 用训练好的神经网络处理 红外图像； 在使用训练数据对构造的多方向性特 征卷积神经网络进行充分迭代训练之后， 得到训 练好的网络用于 检测目标像素。 权利要求书3页 说明书7页 附图3页 CN 114821018 A 2022.07.29 CN 114821018 A 1.一种利用多方向性特征构造卷积神经网络的红外弱小目标检测方法， 其特征在于， 该方法步骤如下： 步骤一： 基于多方向特征搭建卷积神经网络； 首先提取浅层特征并使用多方向性注意 力进行目标特征增强； 随后使用骨干网络对增强后的浅层特征进行四组特征提取； 随后将 提取的四组特征通过特征融合模块拼接降维后与浅层特征进 行高低级 特征融合； 最后通过 全卷积网络逐像素 预测， 得到全图像 像素级别的概 率预测图； 步骤二： 构造损失函数对 网络进行训练； 使用预测结果与像素级标签进行损失计算， 以 实现对网络参数的训练； 输出： 用训练好的神经网络处理红外 图像； 在使用训练数据对构造的多方向性特征卷 积神经网络进行充分迭代训练之后， 得到训练好的网络用于检测目标像素。 2.根据权利要求1所述的一种利用多方向性特征构造卷积神经网络的红外弱小目标检 测方法， 其特 征在于， 所述 步骤一具体如下： 1.1： 提取浅层特征并使用多方向性特性进行目标特征增强； 网络使用卷积单元作为基 本组件， 每个卷积单元由1个卷积层、 批量归一化层、 LeakyReLu操作组合而成； 输入图像经 过一个卷积核 大小为3×3， 步长为 1的卷积单元， 生 成通道数为 16的浅层特征F； 随后浅层特 征通过由固定卷积核构建的多方向特性注意力增强目标浅层特 征Fe； 1:2： 构建骨干网络对增强后的低层特征进行特征提取； 骨干网络由四个残差块单元构 成， 每个残差块单元由不同尺寸、 数量的卷积单元与残差连接组成， 以提取不同尺度的特 征； 1.3： 特征融合模块； 针对弱小目标特征的特征融合模块对不同层特征区分处理； 对浅 层特征使用较少的处理， 尽可能保留其中细节信息； 而对于深层特征， 进一步通过注意力机 制提取其中定位信息， 增强高级语义特 征； 1.4： 通过全卷积网络进行检测； 将融合后的特征Fr利用全卷积网络FCN逐像素预测， 输 出全图像 像素级别的概 率预测图。 3.根据权利要求2所述的一种利用多方向性特征构造卷积神经网络的红外弱小目标检 测方法， 其特征在于： 在步骤1.1中， 还包括： 在一个像素点周围5 ×5区域内的八个方向上， 首先并行使用8个固定卷积核分别计算该像素点与间隔一定距离的八个像素点的灰度差 di， di＝g(T)‑g(Bi)， 其中g(T)和g(Bi)分别是目标点和周围某方向像素点的灰度值， 卷积核 大小取5×5， 中心位置参数设为1， 某方向位置参数设为 ‑1， 其余位置参数设为0； 其中卷积 核 随后通过对8个特征图di与di+4之间两两执行逐点相乘得到4个 特征图， 再对4个特征图相加， 计算多方向性测度 (d1·d5+d2·d6+d3·d7+d4·d8)， 即 中心点像素同时与多个方向的像素存在一定的灰度差， 由此得到基于多方向性的注意力信 息； 最后将注意力信息在原浅层特征上执行空间注意力操作后再与原浅层特征相加， 得到 目标特征增强后的浅层特 征Fe。 4.根据权利要求2或3所述的一种利用多方向性特征构造卷积神经网络的红外弱小目权　利　要　求　书 1/3 页 2 CN 114821018 A 2标检测方法， 其特征在于： 在 步骤1.2中， 还包括： 增强后的浅层特征Fe首先经过一个卷积核 大小为3×3， 步长为2的卷积 单元， 生成通道数为32的特征图F0； 接着并行通过4组残差块单 元， 生成通道数均为32的四组特 征图F1、 F2、 F3、 F4。 5.根据权利要求4所述的一种利用多方向性特征构造卷积神经网络的红外弱小目标检 测方法， 其特征在于： 在步骤1.2中， 还包括： 第一个残差块单元先使用1次卷积核 大小为1× 1， 步长为 1的卷积单元， 对 特征下采样； 再使用1次卷积核 大小为1×1， 步长为 1的卷积单元， 对特征上采样； 随后与 F0进行残差连接得到特征图F1； 第二个残差块单元先使用1次卷积核 大小为3×3， 步长为1的卷积单元， 对 特征下采样； 再使用1次卷积核大小为3 ×3， 步长为1的 卷积单元， 对特征上采样； 随后 与F0进行残差连接得到特征图F2； 第三个残差 块单元先使用1 次卷积核大小为5 ×5， 步长为1的卷积单元， 对特征下采样； 再使用1次卷积核大小为1 ×1， 步长为1的卷积单元， 对特征上采样； 随后 与F0进行残差连接得到特征图F3； 第四个残差块 单 元先使用1次卷积核大小为7 ×7， 步长为1的卷积单元， 对特征下采样； 再使用1次卷积核大 小为1×1， 步长为1的卷积单 元， 对特征上采样； 随后与F0进行残差连接得到特 征图F4。 6.根据权利要求5所述的一种利用多方向性特征构造卷积神经网络的红外弱小目标检 测方法， 其特征在于： 在步骤1.3中， 还包括： 针对弱小目标特征的特征融合模块对不同层特 征区分处理， 将提取的四组特征F1、 F2、 F3、 F4通过特征融合模块拼接降维后与浅层特征F进 行特征融合， 得到融合特征Fr； 对四组深层特征F1、 F2、 F3、 F4在通道维度上进行拼接， 通道数 变为128； 随后使用1次卷积核大小为3 ×3， 步长为 1的卷积单元， 进 行下采样， 通道数恢复为 32； 接着先应用通道注意力机制， 再应用空间注意力机制， 进一步提取高级语义特征； 最后 对处理后的深层特征上采样并与经过1次卷积核 大小为1×1， 步长为 1的卷积单元 处理的浅 层特征F逐点加和， 得到融合特 征Fr。 7.根据权利要求5或6所述的一种利用多方向性特征构造卷积神经网络的红外弱小目 标检测方法， 其特征在于： 在步骤1.4中， 还包括： 融合特征经过3 ×3卷积单元后通道数降至 原始的四分之一， 再经过1 ×1卷积单元 降维通道数为1， 输出全图像像素级别的概率预测 图。 8.根据权利要求1所述的一种利用多方向性特征构造卷积神经网络的红外弱小目标检 测方法， 其特 征在于， 所述 步骤二具体如下： 2.1： 损失函数由两部分构成： Focal损失与交并比IOU损失， L＝LFT+LIOU； Focal损失LFL ＝‑(1‑pt)γlog(pt)， 其中， 调制系数γ＝2， p为网络输出的该像素点预 测概率， y为该像素点标签， y＝1即该点是目标； 交并比是指产生的预测区域与真实目标区 域的交叠率， 即是指 两者的交集和并集的比值； 训练网络进 行目标检测时， 期 望达到的理想 情况是预测区域与真实区域能够完全重叠， 即交并比等于1； 实际情况中， 交并比的值总是 在 0 ～1 之 间 ， 且 值 越 大 ， 则代 表网 络的 检 测效 果 越 精 确 ； 定 义 交 并比 损失 其中area(predict)为预测的目标区域， area(trut)为 真实目标区域 面积， ∩为 集合交运算， ∪为集合并运算； 2.2:采用AdaGrad优化器进行优化， 网络的初始学习 率为0.005， 权重衰减系数为10‑4， 训练中自适应更新学习率， 通过梯度反向传播调整网络参数降低相应的损失函数。权　利　要　求　书 2/3 页 3 CN 114821018 A 3