(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210345219.X (22)申请日 2022.03.31 (71)申请人 长江三峡技 术经济发展 有限公司 地址 100084 北京市通州区贡院街1号院1 号楼二层20 6-21室 申请人 江苏天汇空间信息 研究院有限公司 　 中科空间信息 （廊坊） 研究院 (72)发明人 曹维佳　杨小飞　卢瑶　米晓飞　 张丽丽　 (74)专利代理 机构 北京五洲洋和知识产权代理 事务所(普通 合伙) 11387 专利代理师 刘素霞　刘春成 (51)Int.Cl. G06V 10/80(2022.01) G06V 10/82(2022.01)G06V 10/44(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) (54)发明名称 用于高光谱图像分类的残差密集视觉转换 方法和系统 (57)摘要 本申请提供了一种用于高光谱图像分类的 残差密集视觉转换方法、 系统、 计算机可读存储 介质和电子设备。 该方法通过残差密集视觉转换 网络执行， 残差密集视觉转换网络包括： 跨尺度 自注意投影模块、 局部残差转换模块和全局残差 连接模块； 通过跨尺度自注意投影模块的多尺度 卷积层， 对高光谱图像进行局部空间的光谱信息 提取， 得到跨尺度 自注意力特征； 通过多个局部 残差转换模块对高光谱图像局部空间的光谱信 息进行多尺度投影， 并对多尺度投影的结果沿光 谱通道进行编码， 得到多个多尺度投影特征； 通 过全局残差连接模块对多个多尺度投影特征进 行分层特征融合， 并将跨尺度自注 意力特征与分 层特征融合后的输出特征进行叠加， 得到高光谱 图像的残差融合特 征。 权利要求书2页 说明书9页 附图3页 CN 114758203 A 2022.07.15 CN 114758203 A 1.一种用于高光谱图像分类的残差密集视觉转换方法， 其特征在于， 所述方法通过残 差密集视觉转换网络执行， 所述残差密集视觉转换网络包括： 跨尺度自注意投影模块、 局部 残差转换模块和全局残差连接模块； 所述方法包括： 通过所述跨尺度自注意投影模块的多尺度 卷积层， 对所述高光谱图像进行局部空间的 光谱信息提取， 得到跨尺度自注意力特 征； 通过多个所述局部残差转换模块对所述高光谱 图像局部空间的光谱信息进行多尺度 投影， 并对所述多尺度投影的结果沿光谱通道进行编码， 得到多个多尺度投影特 征； 通过全局残差连接模块对多个所述多尺度投影特征进行分层特征融合， 并将所述跨尺 度自注意力特征与所述分层特征融合后的输出特征进 行叠加， 得到所述高光谱图像的残差 融合特征。 2.根据权利要求1所述的用于 高光谱图像分类的残差密集视觉转换方法， 其特征在于， 所述跨尺度自注意投影模块的多尺度卷积层为多个不同尺度的卷积层； 所述通过所述跨尺度自注意投影模块的多尺度卷积层， 对所述高光谱图像进行局部空 间的光谱信息提取， 得到跨尺度自注意力特 征， 具体为： 通过所述跨尺度自注意投影模块的多个不同尺度的卷积层， 对所述高光谱图像分别进 行局部空间的光谱信息提取， 得到所述高光谱图像的多个不同尺度的局部空间特 征； 对所述高光谱图像的多个不同尺度的局部空间特征进行特征融合， 并使用1x1卷积层 重新加权， 得到所述 跨尺度自注意力特 征。 3.根据权利要求1所述的用于 高光谱图像分类的残差密集视觉转换方法， 其特征在于， 所述局部残差转换模块包括： 多尺度投影子模块和通道多层感知器； 对应的， 所述通过多个所述局部残差转换模块对所述光谱信 息进行多尺度投影， 并对所述多尺 度投影的结果沿光谱通道进行编码， 得到多个多尺度投影特 征， 具体为： 由第i个所述局部残差转换模块的所述多尺度投影子模块分别沿高度、 宽度和光谱维 度对所述高光谱图像局部空间的光谱信息进行编码,得到第i个所述局部残差转换模块的 多尺度投影子特 征； 其中， i 为正整数； 由第i个所述局部残差转换模块的所述通道多层感知器沿光谱通道对第i个所述局部 残差转换模块的多尺度投影子特征进行编码， 得到第i个所述局部残差转换模块的所述多 尺度投影特 征。 4.根据权利要求3所述的用于 高光谱图像分类的残差密集视觉转换方法， 其特征在于， 所述由第i个所述局部残差转换模块的所述多尺度 投影子模块分别沿高度、 宽度和 光谱维 度对所述高光谱图像局部空间的光谱信息进行编码,得到第i个所述局部残差转换模块的 多尺度投影子特 征， 包括： 在第i个所述局部残差转换模块的多尺度投影子模块中， 采用多个不同深度的卷积层， 分别沿高度、 宽度和 光谱维度对所述高光谱图像局部空间的光谱信息进行编码， 对应得到 所述高光谱图像的高度特 征、 宽度特 征和光谱特 征； 基于逐元素加法， 通过第 i个所述局部残差转换模块的多尺度投影子模块的全连接层， 对第i个所述局部残差转换模块的多尺度投影子模块得到的所述高光谱图像的高度特征、 宽度特征和光谱特征进行特征融合， 得到第i个所述局部残差转换模块的多尺度 投影子特权　利　要　求　书 1/2 页 2 CN 114758203 A 2征。 5.根据权利要求1所述的用于 高光谱图像分类的残差密集视觉转换方法， 其特征在于， 所述通过全局残差连接模块对多个所述多尺度投影特 征进行分层特 征融合， 具体为： 通过所述全局残差连接模块， 对多个所述多尺度投影特征执行全局残差操作， 获取所 述高光谱图像的局部空间信息， 以融合多个所述多尺度投影特 征。 6.根据权利要求1所述的用于 高光谱图像分类的残差密集视觉转换方法， 其特征在于， 所述将所述跨尺度自注意力特征与所述分层特征融合后的输出特征进 行叠加， 得到所述高 光谱图像的残差融合特 征， 具体为： 在所述全局 残差连接模块中， 通过全局 残差将所述跨尺度自注意力特征加入所述分层 特征融合后的输出 特征中， 得到所述高光谱图像的残差融合特 征。 7.根据权利要求1所述的用于 高光谱图像分类的残差密集视觉转换方法， 其特征在于， 所述残差密集视 觉转换网络包括： 分类模块， 对应的， 在所述由第i个所述局部残差转换模块的所述通道多层感知器沿光谱通道对第i个所 述局部残差转换模块的多尺度 投影子特征进行编码， 得到第i个所述局部残差转换模块的 所述多尺度投影特 征之后， 所述用于高光谱图像分类的残差密集视 觉转换方法还包括： 通过所述分类模块的全局 平均池化层和全连接层， 根据 所述高光谱图像的残差 融合特 征， 对所述高光谱图像进行分类预测。 8.一种用于高光谱图像分类的残差密集视觉转换系统， 其特征在于， 所述用于高光谱 图像分类的残差密集视觉转换系统中部署有残差密集视觉转换网络， 所述残差密集视觉转 换网络包括： 跨尺度自注意投影模块、 多个局部残差转换模块和全局残差连接模块； 所述跨尺度自注意投影模块， 配置为通过多尺度卷积层， 对所述高光谱图像进行局部 空间的光谱信息提取， 得到跨尺度自注意力特 征； 多个所述局部残差转换模块， 配置为分别对所述高光谱图像局部空间的光谱信 息进行 多尺度投影， 并对所述多尺度投影的结果沿光谱通道进行编码， 得到多个多尺度投影特 征； 所述全局残差连接模块， 配置为对多个所述多尺度投影特征进行分层特征融合， 并将 所述跨尺度自注意力特征与所述分层特征融合后的输出特征进行叠加， 得到所述高光谱图 像的残差融合特 征。 9.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述程序为如权利 要求1‑7任一所述的用于高光谱图像分类的残差密集视 觉转换方法。 10.一种电子设备， 其特征在于， 包括： 存储器、 处理器、 以及存储在所述存储器中并可 在所述处理器上运行的程序， 所述处理器执行所述程序时实现如权利要求1 ‑7任一所述的 用于高光谱图像分类的残差密集视 觉转换方法。权　利　要　求　书 2/2 页 3 CN 114758203 A 3