(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210534182.5 (22)申请日 2022.05.07 (71)申请人 中国科学院空天信息创新研究院 地址 100101 北京市朝阳区大屯路甲20号 北 (72)发明人 孟庆岩　赵茂帆　张琳琳　胡新礼　 李娟　 (74)专利代理 机构 北京亿腾知识产权代理事务 所(普通合伙) 11309 专利代理师 陈霁 (51)Int.Cl. G06V 20/13(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) (54)发明名称 一种基于多层特征融合的遥感场景分类方 法 (57)摘要 针对现有技术中存在的问题， 本发 明的目的 在于提出一种基于多层特征融合的遥感场景分 类方法， 用于构建遥感场景更具辨别力的特征表 示， 进而提升分类性能。 本发明的目的通过 以下 技术步骤实现： 步骤1)通过CNN基础网络提取多 层次卷积特征； 步骤2)利用残差空间注意力对多 层次卷积特征进行空间校准； 步骤3)利用门控机 制对空间校准后的多层次卷积特征进行融合； 步 骤4)基于分类器对融合后的特 征进行分类 。 权利要求书1页 说明书4页 附图2页 CN 114943901 A 2022.08.26 CN 114943901 A 1.一种基于多层特 征融合的遥感场景分类方法， 该 方法包括如下步骤： 步骤1)通过CN N基础网络提取多层次卷积特 征； 步骤2)利用残差空间注意力对多层次卷积特 征进行空间校准； 步骤3)利用门控机制对空间校准后的多层次卷积特 征进行融合； 步骤4)基于分类 器对融合后的特 征进行分类。 2.如权利要求书1所述的方法， 其特 征在于， 所述 步骤2)的具体方法为： 利用Softmax函数基于通道维度生成特征 图的空间描述符， 基于两个全连接层， Relu， Softmax构成的非线性模块生 成空间权重s， 进而利用s通过残差形式重新校准原始特征x获 得最终输出O。 3.如权利要求书1所述的方法， 其特 征在于， 所述 步骤3)的具体方法为： 通过对每个输入特征使用全局平均池化， 基于串联和卷积操作将其压缩为一维。 然后 使用多个全连接层为多层特 征的不同通道生成重要性权 重， 依据权 重对其进行融合。权　利　要　求　书 1/1 页 2 CN 114943901 A 2一种基于多层特征融合的遥感场景分类方 法 技术领域 [0001]本发明设计了一种基于多层特征融合的遥感场景分类方法， 能较好的针对遥感场 景背景复杂和感兴趣目标尺度变化大等问题， 具有较高实用价值， 能有效用于遥感场景分 类， 同时也可作为 一种特征聚合方法用于其 他相关领域。 背景技术 [0002]随着卫星成像技术的飞速发展， 遥感的分辨率不断提高到亚米级。 相应地， 遥感图 像分析模式逐渐从像素级和对 象级转变为语义级， 例如场景分类。 遥感场景分类在遥感应 用中越来越受到关注， 例如土地覆盖分类和变化检测、 目标检测、 图像描述、 语义分割等。 [0003]遥感场景分类可以概括为数据预处理、 特征提取和分类。 近年来， 大部分研究都集 中在特征提取上， 其目的是构建更具判别力的场景特征表示。 根据特征提取， 遥感图像场景 分类有两种类型： 基于手工特征的方法和基于深度特征的方法。 一方面， 前者主要利用颜 色、 纹理、 形状等特征， 如颜色矩、 灰度共生矩阵等。 另一方面， 随着人工智能的发展， 基于特 征学习的方法也被引入到遥感图像场景分类中， 如深度置信网络(DBNs)和卷积神经网络 (CNNs)。 由于卷积神经网络前所未有的学习能力， 基于深度特征的方法将遥感场景分类的 性能提升 到一个新的水平， 并逐渐成为与手工制作的基于特 征的方法相比的主导范式。 [0004]遥感图像采集平台和传感器 的多样性导致遥感场景中目标尺度变化大。 此外， 遥 感场景包含复杂的地面对象， 尤其是城市场景。 由于尺度变化大和背 景复杂， 目标区域只占 整个图像的一小部分， 容 易受到复杂背景中包 含的无用物体的干扰。 [0005]因此， 虽然基于卷积神经网络 的方法大大提高了遥感场景分类 的性能， 但分类性 能仍然受到尺度差异大和复杂背 景的影响。 特别是卷积神经网络中的连续池化操作导致特 征图尺寸减小， 容 易导致忽略场景的关键区域和细节。 [0006]本发明结合空间注意力和门控机制构建一种多层特征融合策略， 通过提取更具辨 别力的特征来解决上述问题。 发明内容 [0007]针对现有技术中存在的问题， 本发明的目的在于提出一种基于多层特征 融合的遥 感场景分类方法， 通过构建遥感场景的更 具辨别力的表示特 征来提升分类效果。 [0008]本发明的目的通过以下技 术步骤实现： [0009]步骤1)通过CN N基础网络提取多层次卷积特 征。 [0010]步骤2)利用残差空间注意力对多层次卷积特 征进行空间校准。 [0011]步骤3)利用门控机制对空间校准后的多层次卷积特 征进行融合。 [0012]步骤4)基于分类 器对融合后的特 征进行分类。 [0013]进一步， 所述步骤2)的具体方法为： 利用Softm ax函数基于通道维度生成特征图的 空间描述符， 基于两个全连接层， Relu， Softmax构成的非线性模块生成空间权重s， 进而利 用s通过残差形式重新校准原 始特征x获得最终输出O。说　明　书 1/4 页 3 CN 114943901 A 3