(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210434654.X (22)申请日 2022.04.24 (71)申请人 南京农业大 学 地址 210000 江苏省南京市玄武区卫岗1号 (72)发明人 任守纲　顾兴健　李思哲　熊迎军　 舒欣　郑恒彪　徐焕良　赵鑫源　 (74)专利代理 机构 北京思创大成知识产权代理 有限公司 1 1614 专利代理师 高爽 (51)Int.Cl. G06T 7/11(2017.01) G06V 10/40(2022.01) G06V 10/82(2022.01) G06V 10/77(2022.01) G06V 10/80(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 U型自适应EST的无人机遥感图像分割方法 及系统 (57)摘要 一种U型自适应EST的无人机遥感图像分割 方法及系统， 该系统包括特征提取单元、 特征编 码器、 跳跃连接模块、 卷积解码模块和投影模块； 所述的特征编码器包括多阶ES T和对应的自适应 图像块合并层； 其中： 每阶ES T分别包括若干个由 第一EST模块和第二EST模块组成的EST单元， 每 个EST模块均包括归一化层LN、 增强多头自注意 力模块、 残差连接层以及多层感知机MLP。 本发明 基于CNN和Tran sformer模 块， 通过层次结构实现 全局自关注， 在解码器中， 结合卷积和反卷积块 实现上采样， 上采样恢复编码器的信息， 进行相 应的像素级分割， 能够减少直接在原图上进行图 像块导致的边缘和位置信息的丢失。 权利要求书3页 说明书11页 附图4页 CN 115035131 A 2022.09.09 CN 115035131 A 1.一种U型自适应EST的无 人机遥感图像分割方法， 其特 征在于， 包括以下步骤： 步骤1： 对输入图像进行 特征提取， 获取高维特 征的编码序列； 步骤2： 将所述编码序列输入特 征编码器进行 特征提取， 生成多尺度分层特 征； 步骤3： 通过跳跃连接模块将特征编码器所得的多尺度分层特征输入卷积解码模块进 行融合， 完成特 征图的恢复， 得到恢复的特 征图； 步骤4： 基于恢复的特 征图进行投影， 得到像素级的分割结果。 2.根据权利要求1所述的U型自适应EST的无人机遥感图像分割方法， 其特征在于， 步骤 1具体包括： 步骤1‑1： 通过残差神经网络ResNet50对输入图像进行特征提取， 生成输入图像的高维 特征图； 步骤1‑2： 将高维特 征图分割为 一系列非重 叠的图像块； 步骤1‑3： 将图像块分割结果 转化为嵌入序列； 步骤1‑4： 将嵌入序列通过线性映射层生成一维形式的分层特 征表示即编码序列。 3.根据权利要求1所述的U型自适应EST的无人机遥感图像分割方法， 其特征在于， 所述 特征编码器包括多阶EST即Enhanced  Swin Transformer和对应的自适应图像块合并层 DAPM， 其中， 每阶EST分别包括若干个EST单 元； 步骤2具体包括： 步骤2‑1： 将编码序列输入一阶EST 进行处理； 步骤2‑2： 将一阶EST的结果输出至对应阶的跳跃连接模块； 同时， 采用自适应图像块合 并层DAPM对一阶EST的结果进行 下采样， 生成一阶多尺度特 征输出至二阶EST； 步骤2‑3： 二阶EST对一阶EST的输出结果进行处理， 并且按照步骤2 ‑2对将二阶EST的结 果输出至对应阶的跳跃连接模块； 同时， 采用自适应图像块合并层 对二阶EST的结果进 行下 采样， 生成二阶多尺度特 征并输出至三阶EST； 遍历各阶EST， 完成编码， 生成多尺度分层特 征。 4.根据权利要求3所述的U型自适应EST的无人机遥感图像分割方法， 其特征在于， 步骤 2中EST单元包括两个连续的第一EST模块和第二EST模块， 每个EST模块均包括归一化层LN、 增强多头自注意力模块MHSA、 残差连接层Residual  Connection以及多层感知机MLP； 其中， 第一EST模块和第二EST模块的增强多头自注意力模块分别采用基于窗口的增强多头自注 意力模块 W‑EMHSA和基于移位窗口 的增强多头自注意力模块SW ‑EMHSA； 所述EST单 元对输入的编码序列采用下述公式进行处 理； 其中： x表 示特征变量， l表 示EST单元中的EST模块数； xl‑1表示输入编码序列； 表示第 l个块的W ‑EMHSA输出； xl表示第l个块的MLP的输出； 表示第l个块的SW ‑EMHSA输出； xl+1 表示第l个块的MLP输出； xl+1表示输出编码序列。权　利　要　求　书 1/3 页 2 CN 115035131 A 25.根据权利要求4所述的U型自适应EST的无人机遥感图像分割方法， 其特征在于， 增强 多头自注意力模块采用下述公式进行运 算： 其中： Q， K， V是对应输入编码序列LN(xl)、 LN(xl‑1)经过三种线性变换映射后， 所得查询 Query、 键Key和值Value； M2表示窗口中的图像块数， d表示查询Q和键值K 的嵌入维度； B表示窗口范围内当前图像块的相对位置， 的R表示感受野， 为自 然数； att表示在QK关联度矩阵之后使用的多尺度注意力， 采用下述公式计算： L(X)＝LN(FC2( δ(FC1(X))))，           (7) G(X)＝LN(FC2( δ(FC1(GAP(X))))，       (8) 其中： XMS‑Attention∈Rk×m×m表示具有多尺度注意力的特征， k表示特征的通道数， m表示特 征的宽和高； W(X)∈Rk×m×m表示多尺度注意力特征的权重系数， L(x)∈Rk×m×m表示局部通道 上下文信息， G(X)∈Rk×1×1表示全局特征上下文信息， k表示特征维度； FC1和FC2两者均为用 于缩小和扩展尺寸的全连接层； GAP表示平均池化， δ表示层归一化和激活函数ReLU的组合 形式， σ 是Sigmo id函数， L N表示层归一 化， 和 分别表示按元 素相乘、 相加。 6.根据权利要求3所述的U型自适应EST的无人机遥感图像分割方法， 其特征在于， 步骤 2‑2和2‑3中， 自适应图像块 合并层执 行下述步骤： 卷积分支处 理， 用于从对应阶EST输出的特 征图中学习偏移量， 输出至主干合并层； 主干合并层计算， 用于对应阶EST的特 征图下采样， 输出至下一阶EST； 所述自适应图像块 合并层的计算公式为： 其中： p0表示输入特征图上的二维采样点， xl表示经ES T计算的输入特征变量， 表示扩 维的特征变量， n表示感受野R中图像块位置的编号， w和pn表示在感受野R中的采样权重值 和位置总和， 其中， poffset是从卷积分支中学习的采样点偏移量， G是双 线性插值； q表 示特征 区域 内所有的空间位置 。 7.根据权利要求1所述的U型自适应EST的无人机遥感图像分割方法， 其特征在于， 步骤 3具体包括： 采用跳跃连接模块， 将来自特征编码器的多尺度分层特征与卷积解码模块的解 码特征融合； 通过线性转换， 使得编码器提取 的特征维度与卷积解码模块的上采样特征维 度一致， 实现浅层和深层特 征的串联。 8.根据权利要求1所述的U型自适应EST的无人机遥感图像分割方法， 其特征在于， 步骤 4中， 对恢复的特征图进 行投影具体为： 基于恢复的特征图将每个通道分量特征向量映射到 所需数目的类别。 9.一种权利要求1 ‑8之一所述U型自适应EST的无人机遥感图像分割方法所采用的系 统， 其特征在于， 该系统包括特征提取单元、 特征编码 器、 跳跃连接模块、 卷积解码模块和投 影模块， 所述的特 征编码器包括多阶EST和对应的自适应图像块 合并层DAPM；权　利　要　求　书 2/3 页 3 CN 115035131 A 3