(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210305985.3 (22)申请日 2022.03.25 (71)申请人 中国科学院软件研究所 地址 100190 北京市海淀区中关村南四街 4 号 (72)发明人 汲如意　李佳盈　张立波　武延军　 (74)专利代理 机构 北京君尚知识产权代理有限 公司 11200 专利代理师 司立彬 (51)Int.Cl. G06K 9/62(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01) (54)发明名称 一种基于Tran sformer的细粒度图像分类方 法 (57)摘要 本发明公开了一种基于Tran sformer的细粒 度图像分类方法。 本方法为： 1)将样本图像输入 线性映射和编码器层中提取多层令牌特征； 2)通 过令牌特征选择模块作用于编码器提取的多层 令牌特征； 3)通过语义部件生成模块作用于第一 层令牌特征， 获取包含辨识性视觉图案的局部区 域， 利用局部分支学习该区域内对象的细节信 息； 4)将两个分支的分类令牌交换， 编码器作用 于交换后的分类令牌与当前分支的图像块令牌， 融合全局分支提取的图像完整信息与局部分支 获取的关键区域的细 节信息； 5)通过中心损失函 数约束细粒度对象类内特征距离， 间接地增大类 间特征距离； 6)连接两个分支的分类令牌， 输入 到分类器， 从而实现对输入图像的分类 。 权利要求书2页 说明书4页 附图2页 CN 114676776 A 2022.06.28 CN 114676776 A 1.一种基于Transformer的细粒度图像分类方法， 其 步骤包括： 构建图像分类模型， 包括局部分支、 全局分支、 语义部件生成模块、 特征融合模块和分 类器， 所述局部分支、 全局分支均包括线性映射和编码器层、 令牌特 征选择模块； 训练所述图像分类模型： 线性映射和编码器层对输入的样本图像进行特征提取， 得到多层令牌特征{Z1,…, Zn‑2}； 其中， 线性映射和编码器层包括对输入数据依次处理的线性映射单元和n个编码器， Zn‑2为第n‑2个编码器输出的特 征， 即第n ‑2层令牌特 征； 令牌特征选择模块从所述多层令牌特 征{Z1,…,Zn‑2}中选取具有区分度的多层级特 征； 语义部件生成模块从第1个编码器输出的第一层令牌特征Z1中获取包含辨识性视觉图 案的局部区域， 然后利用所述局部分支学习该局部区域内对象的细节信息； 特征融合模块将所述局部分支中第 n‑1个编码器输出的令牌特征中的分类令牌与所述 全局分支中第n ‑1个编码器输出的令牌特征中的分类令牌进行交换； 然后所述局部分支将 交换所得分类令牌与所述局部分支第n ‑1个编码器输出的令牌特征中的图像块令牌特征拼 接后输入第n个编 码器， 所述全局分支将交换所得分类令牌与所述全局分支第n ‑1个编码器 输出的令牌特征中的图像块令牌特征拼接后输入第n个编 码器； 然后将所述全局分支中第n 个编码器输出的全局分类令牌特征与所述局部 分支中第n个编 码器输出的局部 分类令牌特 征拼接后输入分类 器， 得到输入样本图像的类别； 通过设定的损失函数约束所述样本图像中的对象类内特 征距离； 图像分类模型应用阶段： 将待分类的目标图像输入训练后的图像分类模型中， 得到目标图像的类别标签。 2.根据权利要求1所述的方法， 其特征在于， 所述线性映射单元首先将输入样本图像切 分成N个图像块xp， 通过隐层空间E， 将每一图像块xp转换为一图像块令牌xpE； 然后添加与图 像块令牌xpE特征维度相同的分类令牌 得到所述样本图像对应的序列化信息 并输入到所述编码器层； 其中， Epos为用于保留所述样本图 像各图像块间位置信息的位置特征向量， 为第j个图像块xp对应的图像块令牌， j＝1, 2…N。 3.根据权利要求2所述的方法， 其特征在于， 所述编码器由多头注意力机制MSA和多层 感知机MLP构成， 第w层编码器的多头注意力机制首先对第(w ‑1)层编码器输出的令牌特征 Zw‑1进行层归一化LN， 所得数据记为MSA(LN(Zw‑1))； 然后将Zw‑1和MSA(LN(Zw‑1))输入第一残 差连接单元， 得到特征Z ′w； 多层感知机对Z ′w进行层归一化LN， 所得数据记为MLP(LN(Z ′w))， 将Z′w和MLP(LN(Z′w))输入第二残差连接单 元， 得到第w层令牌特 征Zw； w∈[1,n ‑2]。 4.根据权利要求3所述的方法， 其特征在于， 所述令牌特征选择模块首先利用多头注意 力机制将每一层令牌特征划分入K个子空间， 在每个子空间内， 建模令牌间的交互信息， 使 得每个令牌特征表 示拥有K个不同空间分布； 然后在每个子空间内， 选择与分类令牌关联程 度最高的图像块令牌特征， 作为对应层的令牌特征 将所选令牌特征 作为具有区分度的多层级特 征。 5.根据权利要求1所述的方法， 其特征在于， 所述损失函数为中心损失函数Lct＝‖x‑c权　利　要　求　书 1/2 页 2 CN 114676776 A 2‖2； 其中， c为中心特 征向量， x为 拼接后的全局分类令牌特 征和局部分类令牌特 征。 6.根据权利要求1所述的方法， 其特征在于， 语义部件生成模块选取令牌特征Z1中与分 类令牌关联程度大于设定阈值θ 的图像块令牌， 计算包含所选择 的全部图像块令牌的矩形 区域的四个顶点坐标； 然后从输入图像中裁切该四个顶点确定的矩形区域作为所述局部区 域。 7.一种服务器， 其特征在于， 包括存储器和 处理器， 所述存储器存储计算机程序， 所述 计算机程序被配置为由所述处理器执行， 所述计算机程序包括用于执行权利要求1至6任一 所述方法中各步骤的指令 。 8.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述计算机程序被 处理器执行时实现权利要求1至 6任一所述方法的步骤。权　利　要　求　书 2/2 页 3 CN 114676776 A 3