(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210303585.9 (22)申请日 2022.03.24 (71)申请人 长江三峡技 术经济发展 有限公司 地址 100084 北京市通州区贡院街1号院1 号楼二层20 6-21室 (72)发明人 曹维佳　杨小飞　卢瑶　米晓飞　 张丽丽　 (74)专利代理 机构 北京五洲洋和知识产权代理 事务所(普通 合伙) 11387 专利代理师 刘素霞　刘春成 (51)Int.Cl. G06V 10/80(2022.01) G06V 10/82(2022.01) G06V 10/44(2022.01) G06K 9/62(2022.01)G06N 3/04(2006.01) (54)发明名称 一种高光谱图像分类的视觉转换方法和系 统 (57)摘要 本申请提供了一种高光谱图像分类的视觉 转换方法和系统。 所述方法通过高光谱图像转换 分类网络 执行， 所述高光谱图像转换分类网络包 括： 光谱自适应3D卷积投影模块和卷积置换器； 所述方法包括： 通过所述光谱自适应3D卷积投影 模块对输入图像的光谱特征和空间特征进行融 合， 得到所述输入图像的融合特征； 由所述卷积 置换器通过深度卷积运算将所述输入图像的融 合特征分别沿空间维度进行高度通道、 宽度通道 操作， 沿光谱维度进行光谱通道操作， 并对沿所 述高度通道、 所述宽度通道、 所述光谱通道操作 后的输出特征进行融合。 籍此， 有效解决了现有 技术中无法捕获细微的光谱差异的问题难题， 将 局部空间信息从浅层传递到深层,提升高光谱图 像分类的精确性。 权利要求书2页 说明书8页 附图2页 CN 114758201 A 2022.07.15 CN 114758201 A 1.一种高光谱图像分类的视觉转换方法， 其特征在于， 所述方法通过高光谱图像转换 分类网络执行， 所述高光谱图像转换分类网络包括： 光谱自适应3D卷积投影模块和卷积置 换器； 所述方法包括： 通过所述光谱自适应3D卷积投影模块对输入图像的光谱特征和空间特征进行融合， 得 到所述输入图像的融合特 征； 由所述卷积置换器通过深度卷积运算将所述输入 图像的融合特征分别沿空间维度进 行高度通道、 宽度通道操作， 沿光谱维度进行光谱通道操作， 并对沿所述高度通道、 所述宽 度通道、 所述 光谱通道操作后的输出 特征进行融合。 2.根据权利要求1所述的高光谱图像分类的视觉转换方法， 其特征在于， 所述光谱自适 应3D卷积投影模块包括： 局部空间分支、 全局光谱分支和融合分支； 对应的， 所述通过所述光谱自适应3D卷积投影模块对输入图像的光谱特征和 空间特征进行融 合， 得到所述输入图像的融合特 征， 包括： 由所述局部空间分支根据所述输入图像的短波光谱信息获取所述输入图像基于局部 光谱窗口 的特征图， 以得到所述输入图像对空间位置的敏感权 重； 由所述全局光谱分支根据所述输入图像的长波光谱信息获取所述输入图像基于全局 光谱窗口 的特征图， 以得到所述输入图像在光谱通道上的位置 权重； 由所述融合分支将所述输入图像对所述空间位置的敏感权重、 对所述光谱通道的位置 权重与所述输入图像进行点乘， 得到所述输入图像的融合特 征。 3.根据权利要求2所述的高光谱图像分类的视觉转换方法， 其特征在于， 所述光谱自适 应3D卷积投影模块中包 含两个光谱自适应3D卷积层， 对应的， 所述由所述局部空间分支根据所述输入图像的短波光谱信息获取所述输入图像基于 局部光谱窗口 的特征图， 以得到所述输入图像对空间位置的敏感权 重， 包括： 通过3D平均自适应池化操作对所述输入图像进行平均池化后， 将所述局部空间分支的 第一个3D卷积核大小设置为(1， 1， 1)以学习基于局部空间和光谱窗口 的特征图； 将局部空间分支的第二个3D卷积核大小设置为(1， 1， 1)， 对基于局部空间和光谱窗口 的特征图进行再处理， 并通过归一化指数函数进行激活， 生成所述输入图像对空间位置的 敏感权重。 4.根据权利要求2所述的高光谱图像分类的视觉转换方法， 其特征在于， 所述光谱自适 应3D卷积投影模块中包 含两个光谱自适应3D卷积层； 对应的， 所述由所述全局光谱分支根据所述输入图像的长波光谱信息获取所述输入图像基于 全局光谱窗口 的特征图， 以得到所述输入图像在光谱通道上的位置 权重， 包括： 将所述全局光谱分支的第一个3D卷积核大小设置为(3， 3， 3)以学习基于全局空间和光 谱窗口的特征图； 将所述全局光谱分支的第二个3D卷积核大小设置为(1， 1， 1)， 对基于全局空间和光谱 窗口的特征图进行处 理， 得到所述输入图像在所述 光谱通道上的位置 权重。 5.根据权利要求1所述的高光谱图像分类的视觉转换方法， 其特征在于， 所述由所述卷权　利　要　求　书 1/2 页 2 CN 114758201 A 2积置换器通过深度卷积运算将所述输入图像的融合特征分别沿空间维度进 行高度通道、 宽 度通道操作， 沿光谱维度进行光谱通道操作， 并对沿所述高度通道、 所述宽度通道、 所述光 谱通道操作后的输出 特征进行融合， 包括： 对所述输入图像的融合特征， 沿高度通道对空间信息进行编码， 得到所述输入图像的 高度编码特 征； 对所述输入图像的融合特征， 沿宽度通道对空间信息进行编码， 得到所述输入图像的 宽度编码特 征； 对所述输入图像的融合特征， 沿光谱通道对光谱信息进行编码， 得到所述输入图像的 光谱编码特 征； 采用逐元素加法， 对所述输入图像的高度编码特征、 宽度编码特征和光谱编码特征进 行融合。 6.根据权利要求1 ‑5任一所述的高光谱图像分类的视觉转换方法， 其特征在于， 所述卷 积置换器包 含多个不同深度的卷积层， 对应的， 所述高光谱图像分类的视 觉转换方法还包括： 对沿所述高度通道、 所述宽度通道、 所述光谱通道操作后的输出特征进行融合后的融 合输出图像通过多个不同深度的卷积层进行降维操作。 7.根据权利要求6所述的高光谱图像分类的视觉转换方法， 其特征在于， 多个不同深度 的卷积层中的每一个分别对应设置有一个不同预设降维步长的1x1的卷积层。 8.根据权利要求7所述的高光谱图像分类的视觉转换方法， 其特征在于， 所述卷积置换 器包含4个不同深度的卷积层， 4个不同深度的卷积层分别为3层、 3层、 8层、 5层， 对应 设置的 不同预设降维步长的1x1的卷积层的降维步长分别为2、 1、 2、 1。 9.根据权利要求6所述的高光谱图像分类的视觉转换方法， 其特征在于， 在对沿所述高 度通道、 所述宽度通道、 所述光谱通道操作后的输入特征进行融合后的融合输出图像通过 多个不同深度的卷积层进行降维操作后， 所述高光谱图像分类的视 觉转换方法还包括： 对所述融合输出图像通过多个不同深度的卷积层进行降维操作后的图像进行拉伸， 得 到所述输入图像的单 元向量， 并根据所述单 元向量对所述输入图像进行分类操作。 10.一种高光谱图像分类的视觉转换系统， 其特征在于， 所述高高光谱图像转换分类系 统部署有高光谱图像转换分类网络， 所述高光谱图像转换分类网络包括： 光谱自适应3D卷 积投影模块和卷积置换器； 所述光谱自适应3D卷积投影模块， 配置为对输入图像的光谱特征和空间特征进行融 合， 得到所述输入图像的融合特 征； 所述卷积置换器， 配置为通过深度 卷积运算将所述输入图像的融合特征分别沿空间维 度进行高度通道、 宽度通道操作， 沿光谱维度进行光谱通道操作， 并对沿所述高度通道、 所 述宽度通道、 所述 光谱通道操作后的输入特 征进行融合。权　利　要　求　书 2/2 页 3 CN 114758201 A 3