(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210497821.5 (22)申请日 2022.05.09 (71)申请人 成都瑞数猛 兽科技有限公司 地址 610000 四川省成 都市高新区天府大 道中段138 8号1栋1257号 (72)发明人 任利　田浩琨　林泽航　王云　 王子彦　李毅　贾海涛　周焕来　 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于多尺度注意力特征融合的小样本 分类算法 (57)摘要 本发明提出了一种基于多尺度注意力特征 融合的小样本分类算法， 提取样本间的判别特 征， 学习样本间的多尺度原型进行分类。 在多尺 度特征嵌入模块中引入自适应分组卷积和通道 混洗模块， 将高阶强语义特征和低阶丰富的视觉 特征结合起来。 并结合特征融合注意力机制， 从 通道维度和空间维度提取注意力特征图， 并将这 两组特征图进行特征融合。 此外， 开发了一种基 于MMD的加权原型网络， 采用度量学习， 并利用 MMD对不同样本特征生成的原型进行加权。 总的 来说， 改进算法引入了不同样 本之间的原型进行 多尺度度量学习， 能够加强同类样 本组之间的相 关性， 削弱异类样本组之间的相关性， 有助于小 样本学习的分类性能。 权利要求书1页 说明书3页 附图2页 CN 114863174 A 2022.08.05 CN 114863174 A 1.一种基于多尺度注意力特 征融合的小样本分类算法， 其特 征在于， 包括以下步骤： 步骤1： 设计多尺度 特征提取模块， 采用自适应分组卷积的方式提取输入特征图的多尺 度空间信息； 步骤2： 在步骤1的特征提取模块基础上， 设计了基于深度可分卷积的空间注意力模块 DSSAM和通道注意力DSCA M模块， 通过3 ×3depthwise卷积、 1 ×1pointwi se卷积、 reshaping、 transpose和softmax函数等 一系列操作生成空间和通道的注意力权 重矩阵； 步骤2.1： 该步骤是步骤2中的空间注意力模块DSSAM模块， 将输入特征图A∈RC×H×W， 送 入卷积核大小为3x3的depthwise卷积， 得到维度为C ×H×W的特征图， 采用1x1的pointwise 卷积得到通道信息交互后的特征图A ′∈RC×H×W。 接着将特征图A ′送入3x3的depthwise卷积 和1x1的pointwise卷积得到特征图X,Y,Z。 然后的特征图X∈RC×H×W转换为X∈RC×N(其中N＝H ×W)； 步骤2.2： 该步骤是步骤2中的通道注意力DSCAM模块， 首先， 将输入特征图送入卷积核 大小为3x3的depthwise卷积， 后续送入1x1的pointwise卷积得到通道信息交互后的特征图 A′∈RC×H×W， 并将该特征图转 换为A′∈RC×N(其中N＝H ×W)， 然后和转置后的特征图A ′进行矩 阵乘法； 步骤3： 该步骤是基于MMD的加权原型网络模块， MMD算法通过计算基于样本分布(包括 和不包括样本)的平均嵌入之间的最大平均差异得到样本权重， 很好的避免了因某些样本 偏差较大对分类结果造成的影响。 2.如权利要求1所述方法， 其特征在于， 步骤1中的每个组内卷积核大小不同但是特征 通道维数应该 是 其中i＝0,1,…,S‑1， 并且C应能被S整除。 3.如权利要求1所述方法， 其特征在于， 本发明设计的基于深度 可分卷积的空间注意力 模块DSSAM和通道 注意力DSCAM模块， 该模型自适应地融合了局部特 征和全局相关性。 4.如权利 要求1所述方法， 其特征在于， 步骤2.1中的空间注意力 模块DSSAM模块最终输 出的特征图是在原 始特征的基础上加权融合了所有空间位置特 征。权　利　要　求　书 1/1 页 2 CN 114863174 A 2一种基于多尺度注意力特征融合的小样本分类算法 技术领域 [0001]本发明涉及深度学习中的目标检测分类领域， 是基于多尺度注意力特征 融合的方 法实现小样本分类。 背景技术 [0002]深度神经网络的最新进展推动了大数据集计算机视觉的革命性进展。 其中具有里 程碑意义的事件之一是ResNet在ILSVRC ‑2015数据集上达到了96.43％的top ‑5图像分类精 度， 比相关报道的人类分类精度高5.1％。 然而， 如果没有高质量的标注样本进 行训练， 深度 神经网络就不能很好地工作。 为了弥补这一缺陷， 小样本学习方法训练一个模型， 可以快速 适应新的类别， 通常情况 下只需要只给几个样本， 甚至每 个类只给一个样本 。 [0003]小样本学习是受人类智 慧的启发， 即人们有从经验中快速学习的能力。 沿着这个 方向， 许多研究致力于减少神经网络对大量标注样本的依赖。 早期关于小概率学习的研究 包括贝叶斯学习、 记忆增强神经网络和迁移学习。 最近关于小样本学习的研究集中在元学 习和度量学习两种方法上， 它们显著提高了小样本的学习性能。 在这些方法中， 原型网络 (PN)是遵循度量学习理论的最简单、 最有效的方法。 特别是， PN 从少数样 本中学习了由所有 类的原型表示组成的度量空间。 在测试阶段， 计算每个原型样本到类的所有原型的距离。 直 观地说， 原型网络在学习的度量空间中执行最近邻分类。 由于其简单、 有效的特点， PN在自 然语言处 理、 领域自适应、 半监 督学习等领域得到 了广泛的应用。 [0004]因此本章研究基于多尺度注意力特征融合机制的小样本分类算法， 在基于原型网 络的小样本图像分类算法的基础上进 行改进， 现有小样本学习算法以及原型网络存在的问 题主要有以下几个方面： [0005]1、 一般来说， 基于度量的学习主要分为两个部分:特征提取和样本间关系的度量。 而目前基于度量的理论更倾向于对样本之间的距离建模， 忽略了特 征提取的重要性。 [0006]2、 只利用了图像的单尺度特征(顶层特征)， 而忽略了对小样本识别同样重要的底 层特征。 大量研究已经证明仅仅使用顶层特征会丢失目标部分特征信息， 从而降低识别的 准确性。 在小样本数据集上这样的信息丢失会对识别结果产生更严重的影响， 因此需要同 时获取顶层和底层的特 征信息， 避免目标信息的丢失。 [0007]3、 没有对具有辨识度特征加以利用。 且缺乏对任意两个位置之间远距离空间依赖 关系和任意两个通道之间的通道 依赖关系的提取。 [0008]4、 原始的原型网络对于类原型的估算采用的是对该类所有样本嵌入向量求和平 均的方法， 没有根据样本质量分配其在原型中所占权重， 这种 方法在面对样本偏差时缺 乏 鲁棒性， 往往一个偏差的样本就能导 致生成原型产生较大误差 。 发明内容 [0009]为了克服上述现有技术的不足， 本发明的主要贡献如下:提出了一种新的小样本 学习方法——多尺度注意力特征融合的图像分类算法， 提取样本间的判别特征， 学习样本说　明　书 1/3 页 3 CN 114863174 A 3