(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210476210.2 (22)申请日 2022.04.29 (71)申请人 南京信息 工程大学 地址 210032 江苏省南京市江北新区宁六 路219号 (72)发明人 翁理国　马占明　胡凯　夏旻　 (74)专利代理 机构 南京经纬专利商标代理有限 公司 32200 专利代理师 陆志斌 (51)Int.Cl. G06V 20/10(2022.01) G06V 20/70(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种土地覆盖分类的特 征增强网络 (57)摘要 本发明公开了一种土地覆盖分类的特征增 强网络， 包括如下步骤： S1、 获取训练图像集和测 试图像集； S2、 构造网络模型， 包括建立四个下采 样层； S3、 构建解码网络， 包括建立自注意特征模 块、 通道特征强化模块和特征融合模块； S4、 通过 特征融合模块， 将下采样过程中的不同尺寸的信 息进行融合， 指导骨干网络特征地图获取空间维 度上隐藏层的信息。 该种土地覆盖分类的特征增 强网络， 加强了隐藏层中的语义信息的提取， 将 隐藏层的语义信息传递原始特征图， 得到特征图 的上下文像素的类别信息， 从而改善建筑物和水 域分割过程中的边缘模糊和建筑物 误判等问题， 提高了分割精度， 增强了算法的普适 性。 权利要求书3页 说明书8页 附图2页 CN 114943893 A 2022.08.26 CN 114943893 A 1.一种土地覆盖分类的特征增强网络， 是利用深度学习平台实现分类网络的搭建， 分 类网络的训练包括数据集的制作及训练调参过程， 其特 征在于， 包括如下步骤： S1、 获取训练图像集和 测试图像集； S2、 构造网络模型， 包括建立四个下采样层， 将图像数据输入模型中， 逐层采样获取语 义信息， 并被提供 给解码网络用于语义信息解码， 为上采用做准备； S3、 构建解码网络， 包括建立自注意特征模块、 通道特征强化模块和特征融合模块； 所 述自注意特征模块用于获取隐藏层更多的特征信息， 并将隐藏层的特征信息传递到原始特 征图， 获取上下文语义信息之间的依赖关系； 所述通道特征强化模块用于对各通道的依赖 性进行建模， 以提高网络的表示能力； S4、 通过特征融合模块， 将下采样过程中的不同尺寸的信息进行融合， 指导骨干网络特 征地图获取空间维度上隐藏层的信息， 之后通过上采样恢复特征图， 输出结果即为更加详 细的预测图像； S5、 利用数据集对分类网络进行模型迭代训练， 进行准确度测试， 直至模型训练达到预 想效果。 2.根据权利要求1所述的一种土地覆盖分类的特征增强网络， 其特征在于， 所述步骤S1 的具体步骤如下： S1.1、 在谷 歌地球上截取若干张分辨 率为1500×800的大图； S1.2、 对截取图片使用labelme工具进行人工掩膜标注， 标记为3种类型的对象： 建筑 物、 水域和背景； S1.3、 对图片进行分块， 将其中70％作为训练集， 将3 0％作为验证集。 3.根据权利要求1所述的一种土地覆盖分类的特征增强网络， 其特征在于， 所述步骤S3 中通道特 征强化模块是利用特 征通道之间的关系来 生成通道关注图， 具体流 程如下： S301、 通过最大池化提取特征图的纹理信息， 以用来聚合要素图像 中的空间信息， 输入 的特征图通过最大池化可以生成一个空间上下文描述符， 描述符被转发到一个共享网络， 通过sigmoid函数产生通道关注图， 共享网络应用于每个描述符之后， 通过sigmoid函数输 出特征向量； S302、 对特征 图进行1×1卷积， 之后乘以通过sigmoid函数输出特征向量， 用来完成通 道维度的重新校准， 最终通道特 征强化模块输出通道分量。 4.根据权利要求1所述的一种土地覆盖分类的特征增强网络， 其特征在于， 所述步骤S3 中自注意特 征模块获取每 个隐藏层与其上 下文隐藏层之间关系的具体流 程为： S303、 通过1×1卷积对输入特 征图进行降维； S304、 将通过1 ×1卷积操作之后特征图分别通过三个映射函数η， φ， γ实现尺寸为的C ×H×W特征映射， 特 征映射分别对应查询矩阵Xq、 键矩阵XK、 值矩阵XV； S305、 查询矩阵Xq、 键矩阵XK和值矩阵XV分别通过映射函数η、 φ和γ获得， 查询矩阵通 过关键矩阵查询通道之间的特征信息， 将键值矩阵乘以查询矩阵， 对得到的特征矩阵的第 一维进行归一 化Softmax， 得到矩阵 计算过程可表示 为： S306、 通过归一化S oftmax之后得到的特征矩阵 的每个通道重要性被区分， 将获得的 值矩阵XV与包含通道重要信息的特征矩阵 相乘得到特征图， 特征图通过特征映射函数μ权　利　要　求　书 1/3 页 2 CN 114943893 A 2输出检测结果图， 隐藏层特征信息被传送到原始特征图， 并且获得包含每个像素及其上下 文像素的类别 信息的特 征映射。 5.根据权利要求1所述的一种土地覆盖分类的特征增强网络， 其特征在于， 所述步骤S4 的具体流 程为： S401、 低级特征向量x首先进行3 ×3的批量归一化和ReLU非线性激活函数， 实现维数H ×W×C的特征映射 S402、 输入高级特征向量y通过嵌入式模块SFS计算输出结果V， 输入高级特征向量y进 行不同卷积核大小的卷积操作， 对高级特征向量y进行卷积核 3×3操作之后输出特征 对 高级特征向量y进行卷积核 5×5的卷积操作输出 实现不同尺寸感 受野的自适应调整， 然 后进行两个特 征图的像素级融合， 得到新的特 征图U， 计算过程如下 所示： S403、 特征图U通过Fgp函数生成1 ×1×C的特征图s， 其中Fgp为全局平均池化函数， 对整 个网路在结构上做正则化防止过拟合， s中的第C个元素通过步骤S402 中U的H×W维度上进 行压缩计算得到的， 计算过程如下： sC＝Fgp(UC)； S404、 特征图s通过Ffc函数生成一个紧凑的特征向量z， 其中Ffc为全连接函数， 使 其能够 进行精确 和自适应的选择 特征， 同时减少维度以提高效率， 计算过程如下： z＝Ffc(s)； S405、 特征向量z通过重塑操作调整形状变为两个全连接层的值a和值b， 选择按照信道 的方向使用softmax， 值a和值b经过softmax之后输出两个矩阵ac和bc， ac是a的第c个元素， bc是b的第c个元素， 将生 成的两个函数ac和bc分别与步骤S402中高级特征向量y进行卷积核 3×3操作之后输出的特 征 和对高级特征向量y进行 卷积核5×5的卷积操作输出的 分别 相乘得到新的特 征 和新的特 征 S406、 由于ac+bc＝1， 能够实现对分支中的特征图设置权重， 又因为不同的分支卷积核 尺寸不同， 实现了让网络自己选择合适的卷积核。 对步骤S405中的输出新的特征 和新的 特征 进行加权操作， 然后求和得到最终的输出向量V， 计算过程如下 所示： S407、 高级特征 y进行3×3卷积、 批 量归一化和ReLU后， 实现 维数H×W×C的特征映射 特征映射 与嵌入式SFS模块输出结果V相乘得到新的权重与 特征映射 相加， 输出融合后 的特征图New， SFS( ·)代表的是嵌入式SFS模块的整个计算过程， 在解码的过程中使用该模 块三次， 计算过程如下 所示： S408、 特征融合模块可以融合不同尺寸的特征图， 低级特征向量x输入的是来自通道特 征强化模块的特征图， 高级特征向量y输入的是来自自注意模块的特征图， 通道特征强化模 块和自注意模块的输入都是骨干网特征图， 然后特征融合模块将高级层特征信息与低级 特权　利　要　求　书 2/3 页 3 CN 114943893 A 3