(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210609304.2 (22)申请日 2022.05.31 (71)申请人 常州大学 地址 213164 江苏省常州市武进区滆湖中 路21号 (72)发明人 丁宁　陆贵荣　王进　张燕新　 (74)专利代理 机构 南京纵横知识产权代理有限 公司 32224 专利代理师 刘艳艳 (51)Int.Cl. G06V 20/13(2022.01) G06V 10/32(2022.01) G06V 10/44(2022.01) G06V 10/46(2022.01) G06V 10/764(2022.01)G06V 10/80(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于多特征聚合与交互的遥感图像定 向目标检测方法 (57)摘要 本发明公开了一种基于多特征聚合与交互 的遥感图像定向目标检测方法， 该方法包括： 获 取高分辨遥感图像裁剪为小图送入网络。 经过特 征提取后， 进行多特征聚合与交互。 首先， 利用浅 层特征融合模块和注意模块获取局部特征和全 局信息。 然后， 利用双向融合特征金字塔网络和 卷积注意力机制模块得到多尺度注 意特征图。 最 后， 将跨尺度融合模块获取的包含重要信息的特 征映射发送到检测头， 获取目标类别和定向包围 盒。 小图的检测结果映射回原图并过滤无效检测 结果。 该方法可以解决遥感图像中的目标方向任 意， 变化幅度大， 信息量小， 容易受到复杂背景的 干扰的问题。 本方法在遥感图像定向目标检测中 性能优越。 权利要求书2页 说明书8页 附图3页 CN 114926747 A 2022.08.19 CN 114926747 A 1.一种遥感图像定向目标检测方法， 其特 征在于， 包括： 获取高分辨遥感图像； 将遥感图像裁 剪为多个预设尺寸的小图； 将裁剪后的小图输入定向目标检测模型， 获得输出的定向目标检测结果； 其中所述定 向目标检测模型包括特征提取模块、 浅层特征融合模块、 自注意力模块、 双向交互特征金字 塔网络模块、 卷积注意力机制模块、 跨尺度融合模块和检测头； 所述特征提取模块， 被配置为： 将裁剪后的小图进行特征提取得到五层不同尺度的特 征图， 其中特 征图尺度从大到小依次为： 特 征图1、 特 征图2、 特 征图3、 特 征图4、 特 征图5； 所述浅层特征融合模块， 被配置为： 将特征图1输入浅层特征融合模块进行处理得到输 出的浅层特 征1， 将浅层特 征1与特征图2进行融合得到 浅层特征融合图； 所述自注意力模块， 被 配置为： 将特 征图5输入自注意力模块得到 输出的注意特 征图； 所述双向交互特征金字塔网络模块， 被配置为： 将浅层特征融合图、 特征图3、 特征图4 与注意特 征图输入双向交 互特征金字塔网络进行多尺度特 征交互得到多尺度交 互特征图； 所述卷积注意力机制模块， 被配置为： 将多尺度交互特征图输入卷积注意力机制模块 提取注意区域得到多尺度注意特 征图； 所述跨尺度融合模块， 被配置为： 将多尺度注意特征图输入跨尺度融合模块进行跨尺 度交互， 得到跨尺度融合的特 征图； 所述检测头， 被配置为： 将跨尺度融合的特征图输入检测头进行定向检测， 得到输出的 目标类别和定向包围盒， 即小图的检测结果； 响应于所有裁剪后的小图检测完成后， 将小图 的检测结果映射回原遥感图像， 通过非极大值抑制， 保留相同位置、 同一类别、 置信度最高 的目标， 作为 最终检测结果。 2.根据权利要求1所述的方法， 其特征在于， 将遥感图像裁剪为多个预设尺寸的小图， 包括： 对遥感图像进行有重叠率的裁剪， 并通过重叠比例系数控制裁剪 图像的尺度， 实现多 尺度裁剪。 3.根据权利要求1所述的方法， 其特征在于， 特征提取模块由ResNet网络实现， 通过 ResNet网络获得五层不同尺度的特 征图。 4.根据权利要求3所述的方法， 其特征在于， 所述特征提取模块采用ResNet101、 ResNet   18、 ResNet34或ResNet5 0网络作为特 征提取网络 。 5.根据权利要求1所述的方法， 其特征在于， 浅层特征融合模块将两层尺度最大的特征 图进行融合， 浅层特征融合首先作用于最浅层特征， 通过并联不同尺寸的卷积核来扩大感 受野范围， 并通过 空间金字塔池化从不同的尺度进 行特征提取， 再聚合特征信息， 聚合得到 的特征图与上一层特 征图融合获得浅层融合特 征图。 6.根据权利要求1所述的方法， 其特征在于， 自注意力模块包括多头的自注意力和全连 接层， 每层之间用残差块连接； 自注意力模块将最深层的特征图进行处理以构建特征图全 局关系。 7.根据权利要求1所述的方法， 其特征在于， 所述双向交互特征金字塔网络模块的具体 处理步骤包括： 先自上而 下， 浅层特征融合模块输出的深层特征逐层与上层信息融合， 再自 下而上， 最浅层的信息传递回深层的特 征； 同一层的输入和输出建立 一个短路连接 。权　利　要　求　书 1/2 页 2 CN 114926747 A 28.根据权利要求1所述的方法， 其特征在于， 所述检测头分为四部分， 分别是： 负责分类 与中心点定位的Heatmap； 计算偏置损失的Offset； 捕获定向回归框参数的Box  Param； 分治 角度问题的Orientati on。 9.根据权利要求8 所述的方法， 其特征在于， 所述Heatmap使用Heatmap  value作为检测 置信度得分， 通过一个3 ×3的最大池化得到Heatmap， 在Heatmap上使用NMS获取数值最大的 K个中心点。 10.根据权利要求1所述的方法， 其特征在于， 定向目标检测模型的数据集分为训练集、 验证集和测试集； 训练集和验证集包含图像和对应的标签文件； 标签文件包含图像每个目 标对应的四个角点 坐标和类别。权　利　要　求　书 2/2 页 3 CN 114926747 A 3