(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210385028.6 (22)申请日 2022.04.13 (71)申请人 北京工业大 学 地址 100124 北京市朝阳区平乐园10 0号 (72)发明人 许德梅　同磊　段娟　肖创柏　 (74)专利代理 机构 北京思海天达知识产权代理 有限公司 1 1203 专利代理师 王兆波 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06V 10/80(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 基于孪生网络的高光谱图像分类方法 (57)摘要 本发明公开了基于孪生网络的高光谱图像 分类方法， 包含三个部分： 设计基于空间光谱信 息的孪生残差网络分类模型； 设计基于多尺度特 征融合并行分支的孪生残差特征提取网络； 设计 基于空间和通道注意力机制的孪生残差特征提 取网络； 本发 明利用多尺度特征融合扩大特征提 取网络的感受野， 能够捕获像素之间的全局依赖 性， 同时增加网络的宽度获得更多的非线性特 征， 进而得到更好的分类效果。 利用基于空间和 通道注意力的特征提取网络， 应用通道注意力、 空间注意力模块于高光谱图像光谱、 空间信息的 特征提取网络上， 通过使用注 意力机制增强空间 或光谱重要特征抑制不必要的特征， 在增加少量 计算量的情况 下获得更明显的性能提升 。 权利要求书3页 说明书9页 附图3页 CN 114821164 A 2022.07.29 CN 114821164 A 1.基于孪生网络的高光谱图像分类方法， 其特征在于： 分为以下四个步骤： 高光谱图像 数据预处理， 构建孪生网络模型， 训练孪生网络模型， 应用孪生网络模型于高光谱图像分 类。 步骤一、 高光谱图像数据预处 理； 1)数据读取； 高光谱图像读取后设置像素邻域图像块大小， 经过PCA主成分分析后再进行EMP扩展形 态学剖面， 高光谱图像数据降维生成低光谱图像用作空间信息特 征提取。 2)数据采样； 对高光谱图像非零像素随机采样， 随机选取每类6至8个点作为训练集样本， 同时随机 选取每类6至8个点作为验证集样本， 其 余像素点作为测试集样本 。 3)样本配对； 根据像素点的地物类别标签对训练集样本配对， 正负样本对的比例为1： 1。 对每个样本 分别获取中心像素向量和像素邻域图像块， 邻域图像块尺寸 为超参数。 4)数据封装； 对高光谱图像训练集、 验证集、 测试集分别进行数据集封装和加载。 将训练集批处理块 尺寸为超参数， 具体设置参照该高光谱数据集 地物类别数。 步骤二、 构建孪生网络模型； 1)孪生网络结构； 孪生网络模型由两个相同神经网络结构的孪生分支 组成， 每个孪生分支包括一个基于 空间信息的二维特征提取网络和一个基于光谱信息的一 维特征提取网络。 该孪生网络模型 以残差网络为特 征提取网络， 采用空谱分离特 征提取后特 征级融合的方式。 2)孪生分支网络结构； 孪生分支网络以轻量卷积神经网络模型为残差网络的基础框架， 并引入多尺度 特征融 合模块和注意力机制 模块进行改进。 孪生分支网络由这几类层构成： 输入层(Input)， 卷积 层(Conv)， 池化(Pooling)层和全连接层(Full  Connection)， 通过将这些层叠加起来构建 一个完整的残差网络。 残差网络由第一个卷积层和3个残差块组成， 每个残差块均使用多尺 度特征融合的方式。 在多尺度特征融合模块之前， 使用注意力机制进 行权重分配， 增强空间 光谱重要特 征抑制不必要的特 征。 3)卷积层； 基于空间信息特征提取的二维残差 网络高光谱图像输入为27 ×27×36。 第一个卷积层 使用4×4大小的卷积核， 卷积核个数为32， 步长stride＝1， 边缘填充padding＝0。 即第一个 卷积层由32个特征图构成， 特征图中每个神经元与输入中4 ×4的邻域相连， 输出得到的特 征图大小为24 ×24×32。 第一个卷积层有640个可训练参数。 然后进行批标准化和ReLU激 活， 加快收敛速度。 第一个卷积层后是连续3个残差块， 残差块卷积核个数为32， 32， 64。 每个残差块分别 使 用1×1， 3×3， 5×5这三种卷积核尺 寸大小， 其中5 ×5卷积使用两步3 ×3卷积代替以减少参 数计算量。 设定卷积步长stri de＝1之后， 只要分别设定padding＝0、 1、 2， 采用边缘填充得 到相同维度的特征， 三种尺度特征提取融合进行批标准化和ReLU激活后拼接在一起。 然后 将上一个残差块的输入相加， 再进 行ReLU激活得到新的特征图。 第1个残差块卷积层得到32权　利　要　求　书 1/3 页 2 CN 114821164 A 2个特征图， 再进行下一个多尺度残差块卷积。 第2个残差块卷积层得到32个特征图， 继续进 行下一个多尺度 残差块卷积 。 第3个残差块卷积层得到64个特征图， 再进 行下一个多尺度 残 差块卷积得到1 ×1×64的特征图。 基于光谱信 息特征提取的一维残差网络结构与二维残差网络结构类似， 其中一维残差 网络使用一 维卷积， 且每层卷积核个数分别为16， 16， 16， 32。 一维残差网络的高光谱图像输 入为1×bands， 其中bands为数据集 光谱波段 数。 4)池化层 池化层使用2 ×2大小的过滤器， 步长stride＝2， 边缘填充padding＝0。 即池化层特征 图中的每个单元与最后一个卷积层中相对应特征图的2 ×2邻域相连接， 有64个2 ×2的特征 图， 输出得到的特 征图大小为1 ×1×64， 没有需要学习的参数。 5)全连接层； 未使用全连接层来计算输入向量和权 重向量之间的点积， 而是全部用卷积层连接 。 步骤三、 训练孪生网络模型； 1)前向传播； 构建的孪生网络模型有两个孪生分支， 输入为一组样本对， 每个样本由一个中心像素 向量和一个相应的邻域像素块组成。 首先对高光谱图像数据预处理， 通过随机采样并样本 配对后形成比例均衡的正负 输入样本对。 训练集样本数为高光谱图像数据集每类6至8 个样 本。 样本对的两个输入分别进入两个孪生分支进 行空间、 光谱 特征提取。 孪生分支采用二 维 卷积神经网络进行空间信息特征提取， 一维卷积神经网络进行光谱信息特征提取， 在分别 特征提取之后再进行空间光谱信息特征级融合。 在空间光谱信息特征级融合后， 通过L1距 离函数逻辑回归计算输出， 公式如下。 式中d1是孪生分支网络的输出， I1和I2是输入样本对。 2.损失函数 构建模型后， 训练孪生网络时， 采用二分类交叉熵损失函数(BCE  Loss)计算二元分类 器的误差， 公式如下。 式中N是样本总数， yi是第i个样本所属的类别， pi是第i个样本的类别预测值。 3.优化器 使用随机梯度下降算法更新模型参数。 参数更新步骤如下： 计算目标函数关于当前参 数的梯度， 计算当前时刻的下降梯度， 根据下降梯度进行更新参数。 设定待优化参数为ω， 目标函数为f(x)， 初始学习率为α， 迭代期数为epoch， 其中gt是当前参数 的梯度。 参数更新 公式如下： Wt+1＝Wt‑α·gt                式(3) 孪生网络模型使用梯度下降进行优化， 批处理大小BatchSize设为类别数。 优化器指引 损失函数的各个参数往正确的方向更新合适的大小， 使得更新后的各个参数让损失函数值 不断逼近全局最小。权　利　要　求　书 2/3 页 3 CN 114821164 A 3