(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210319406.0 (22)申请日 2022.03.29 (71)申请人 西安电子科技大 学 地址 710000 陕西省西安市雁塔区太白南 路2号 (72)发明人 冯冬竹　鲁彦萱　秦翰林　袁帅　 孙鹏　陈嘉欣　代杨　 (74)专利代理 机构 西安嘉思特知识产权代理事 务所(普通 合伙) 6123 0 专利代理师 高晓倩 (51)Int.Cl. G06V 20/52(2022.01) G06V 20/17(2022.01) G06V 10/40(2022.01) G06V 10/764(2022.01)G06V 10/80(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于多分支并行混合空洞编码神经网络的 目标检测方法 (57)摘要 本发明涉及一种基于多分支并行混合空洞 编码神经网络的目标检测方法， 包括： 获取待测 图像； 将待测图像输入至训练完成的多分支并行 混合空洞编码神经网络中， 得到待测图像的最终 检测结果。 本发明的目标检测方法， 通过训练完 成的多分支并行混合空洞编码神经网络， 对无人 机拍摄得到的待测图像进行目标检测， 该多分支 并行混合空洞编码神经网络利用并行混合空洞 编码神经网络对输入图像进行特征提取， 同时利 用解码预测网络和注意力无锚预测网络得到两 个检测结果， 通过对两个检测结果的融合得到最 终检测结果， 该目标检测方法能够提高无人机对 地面小目标的检测精度， 尤其对密集、 遮挡场景 下小目标的漏检及误检现象进行改善 。 权利要求书2页 说明书8页 附图2页 CN 114821462 A 2022.07.29 CN 114821462 A 1.一种基于多分支并行混合空洞编码神经网络的目标检测方法， 其特 征在于， 包括： 获取待测图像； 将所述待测图像输入至训练完成的多分支并行混合空洞编码神经网络中， 得到所述待 测图像的最终检测结果； 其中， 所述多分支并行混合空洞编码神经网络是基于多个训练样本训练得到的， 所述 训练样本包括利用无 人机拍摄得到的图像以及其对应的类别标签； 所述多分支并行混合空洞编码神经网络包括： 若干依次连接的下采样模块， 每一个所 述下采样模块的输出端连接一个并行混合空洞编码神经网络， 形成并行 的分支结构， 第一 个所述分支结构的并行混合空洞编 码神经网络的输出端与解码预测网络连接； 其他所述分 支结构的并行混合空洞编码神经网络的输出端均 与注意力无锚预测网络连接； 所述下采样模块用于对输入的图像进行下采样得到低层特征图； 所述并行混合空洞编 码神经网络用于对所述低层特征图进行特征提取， 得到增强特征图； 所述解码预测网络用 于对输入的所述增强特征图进行分类检测， 得到第一检测结果； 所述注意力无锚预测网络 用于对输入的所述增强特征图进行分类检测， 得到第二检测结果； 根据所述第一检测结果 和所述第二检测结果得到所述待测图像的最终检测结果。 2.根据权利要求1所述的基于多分支并行混合空洞编码神经网络的目标检测方法， 其 特征在于， 所述并行混合空洞编 码神经网络包括： 并行的第一分支链路和 第二分支链路， 其 中， 所述第一分支链路以多个比例对输入的所述低层特征图进行图像上下文信 息的捕捉， 得到初始特征图； 所述第二分支链路用于对输入的所述低层特征图进 行全局感知的注意力 权重分配， 得到注意力加权特征图； 将所述初始特征图和所述注意力加权特征图通过 concat合并， 得到所述增强特 征图。 3.根据权利要求2所述的基于多分支并行混合空洞编码神经网络的目标检测方法， 其 特征在于， 所述第一分支链路包括若干个依 次连接的第一卷积单元， 所述第一卷积单元包 括依次连接的第一空洞 卷积层、 第一BN层和第一Mish激活函数层， 每一个第一卷积单元中 的所述第一空洞卷积层具有不同的空洞率和不同的卷积核尺寸； 所述第二分支链路包括依次连接的第一LayerNorm层、 第一多头注意力模块、 第一 Dropout层、 第二LayerNorm层、 第一前馈神经网络和第二Dropout层， 所述第一LayerNorm层 的输出与所述第一Dropout层的输出相乘后作为所述第二LayerNorm层的输入， 所述第二 LayerNorm层的输入与所述前馈神经网络的输出相乘后作为所述第二Dropout层的输入。 4.根据权利要求1所述的基于多分支并行混合空洞编码神经网络的目标检测方法， 其 特征在于， 所述解码预测网络包括依次连接的注意力模块、 编码 ‑解码模块和分类预测模 块， 其中， 所述注意力模块用于对输入的所述增强特征图进行全局感知的注意力 权重分配， 并沿 着通道和空间两个独立的维度依 次进行推 断， 得到注意特征图， 并将该注意特征图与所述 解码预测网络 输入的所述增强特 征图相乘实现自适应特 征细化； 所述编码 ‑解码模块用于将特征细化后的注意特征图编码为编码信息矩阵， 并与所述 并行混合空洞编码网络 输出的所述增强特 征图进行融合 解码， 得到融合 解码特征图； 所述分类预测模块用于对所述融合解码特征图进行卷积操作， 得到所述第一检测结权　利　要　求　书 1/2 页 2 CN 114821462 A 2果， 所述第一检测结果包括所述待测图像的类别概 率和目标框坐标信息 。 5.根据权利要求4所述的基于多分支并行混合空洞编码神经网络的目标检测方法， 其 特征在于， 所述注意力模块包括依 次连接的第二多头注意力模块、 第一通道和空间注意力 模块、 第三LayerNorm层和第三Dropout层， 其中， 所述第三Dropout层的输出与所述注意力 模块的输入相乘后作为所述注意力模块的输出； 所述编码 ‑解码模块包括依次连接的Encoder ‑Decoder  attention模块、 第四 LayerNorm层、 第二前馈神经网络和第四Dropout层， 其中， 所述第四LayerNorm层的输出与 所述第二前馈神经网络的输出相乘后作为所述第四Dropout层的输入； 所述分类预测模块包括第一FFN单元和第二FFN单元， 其中， 所述第一FFN单元和所述第 二FFN单元均连接所述第四Dropout层的输出端， 所述第一FFN单元和所述第二FFN单元对应 输出所述待测图像的类别概 率和目标框坐标信息 。 6.根据权利要求1所述的基于多分支并行混合空洞编码神经网络的目标检测方法， 其 特征在于， 所述注意力无锚预测网络包括若干个并行连接的注意力 混合空洞卷积模块， 所 述注意力混合空洞卷积模块与所述分支结构的并行混合空洞编码神经网络对应连接； 所述注意力混合空洞卷积模块对输入的所述增强特征图进行分类检测， 分别得到所述 待测图像的类别概率、 目标框信息以及目标框坐标信息； 将所述类别概率、 所述目标框信息 以及所述目标框坐标信息通过concat合并和Reshape操作后得到的二维特征向量， 作为所 述第二检测结果。 7.根据权利要求6所述的基于多分支并行混合空洞编码神经网络的目标检测方法， 其 特征在于， 所述注意力 混合空洞卷积模块包括依 次连接的卷积层、 第二通道和空间注意力 模块、 若干第二卷积单元， 所述第二卷积单元包括依次连接的第二空洞卷积层、 第二BN层和 第二Mish激活函数层， 每一个第二卷积单元中的所述第二空洞卷积层具有不同的空洞率和 不同的卷积核尺寸。 8.根据权利要求1所述的基于多分支并行混合空洞编码神经网络的目标检测方法， 其 特征在于， 根据所述第一检测结果和所述第二检测结果得到所述待测图像的最终检测结 果， 包括： 通过NMS操作融合所述第一检测结果和所述第二检测结果， 对所述第一检测结果和所 述第二检测结果中的类别概率进 行排序， 将 类别概率最大值对应的类别以及目标框坐标信 息作为所述待测图像的最终检测结果。 9.根据权利要求1所述的基于多分支并行混合空洞编码神经网络的目标检测方法， 其 特征在于， 在对所述多分支并行混合空洞编码神经网络进行训练过程中， 采用的损失函数 为： L＝ λgiou·Lgiou+λfl·Lfl+λbce·Lbce； 式中， Lgiou表示预测目标框与 真实标记框之间位置偏差的损失函数， Lbce表示预测目标 框与真实标记框之间大小偏差的损失函数， Lfl表示预测分类结果和真 实类别标签的损失函 数， λgiou、 λfl、 λbce表示各损失函数分量的对应系数。权　利　要　求　书 2/2 页 3 CN 114821462 A 3