(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210408335.1 (22)申请日 2022.04.19 (71)申请人 天津大学 地址 300072 天津市南 开区卫津路9 2号 (72)发明人 冀中　吴伊兵　 (74)专利代理 机构 天津市北洋 有限责任专利代 理事务所 12 201 专利代理师 张建中 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06V 10/774(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于全局与局部视觉特征协同分类方法、 设 备及存储介质 (57)摘要 本发明公开了一种基于全局与局部视觉特 征协同分类方法， 包括如下步骤： 步骤1， 采用CNN 网络提取图像特征， 将图像映射到一个3D特征张 量； 步骤2， 采用特征处理模块对该特征张量进行 处理后， 得到增强后的新特征张量； 步骤3， 将增 强后的新特征张量分别进行全局特征分类和局 部特征分类， 将全局特征与局部特征的分类结果 融合获得最终分类结果。 本发明还公开了一种实 现基于全局与局部视觉特征协同分类方法的设 备。 本发明将分类相关的局部信息和全局信息结 合在统一的框架内， 充分利用了样 本中的全局信 息和局部信息， 克服了 现有方法中只使用全局信 息或局部信息的缺陷。 权利要求书3页 说明书10页 附图3页 CN 114898143 A 2022.08.12 CN 114898143 A 1.一种基于全局与局部 视觉特征协同分类方法， 其特 征在于， 包括如下步骤： 步骤1， 采用CN N网络提取图像特 征， 将图像映射到一个3D特 征张量； 步骤2， 采用特 征处理模块对该 特征张量进行处 理后， 得到增强后的新特 征张量； 步骤3， 将增强后的新特征张量分别进行全局特征分类和局部特征分类， 将全局特征与 局部特征的分类结果融合获得最终分类结果。 2.根据权利要求1所述的基于全局与局部视觉特征协同分类方法， 其特征在于， 步骤1 中， 采用CN N网络提取图像特 征的具体方法包括如下分步骤： 步骤A1， 编制预训练样本数据集； 步骤A2， 从已有CNN预训练网络模型中， 选取与训练样本相匹配的CNN预训练网络模型； 选取的CNN预训练网络模 型包括卷积层、 平均池化层及 全连接层： 用预训练样本数据集对选 取的CNN预训练网络模型进行 预训练； 步骤A3， 对选取的CNN预训练网络模型进行结构调整， 去掉其最后的全连接层， 保留其 卷积层及平均池化层； 步骤A4， 采用调整后的CN N预训练网络模型提取样本原 始图像特 征。 3.根据权利要求1所述的基于全局与局部视觉特征协同分类方法， 其特征在于， 步骤2 包括如下分步骤： 步骤B1， 对由样本原始图像特征映射的特征张量Fo分别进行通道注意力加 权及空间注 意力加权， 对应得到通道 注意力特 征张量Fo‑C和空间注意力特 征张量Fo‑S； 步骤B2， 将通道注意力特征张量Fo‑C和空间注意力特征张量Fo‑S进行融合与均值计算， 得到初始融合特征张量Ffp， 其中， C为原始特征张量中的通道数； 为初始融合特 征张量在第1至第C个通道的分量； 步骤B3， 采用下式计算初始融合特 征张量的通道均值特 征张量Ffp‑C； 步骤B4， 构建通道残差网络， 将初始融合特征张量Ffp通过通道残差网络处理后得到增 强后的新特 征张量F′fp； F′fp＝Ffp‑Ffp‑C。 4.根据权利要求3所述的基于全局与局部视觉特征协同分类方法， 其特征在于， 步骤B1 包括如下分步骤： 步骤B1‑1， 假设特征张量Fo映射为F∈RC×H×W， C、 H、 W分别代表图像的通道数、 高度和宽 度； 通过使用平均池化运算和最大池化运算来融合F的空间信息， 分别生成两个通道特征描 述符 和 为平均池化计算得到的通道特征描述符； 为最大池 化运算得到的通道特 征描述符； 步骤B1‑2， 设置通道注意力模块， 其将步骤B1 ‑1生成的两个描述符融合成一维通道注 意力图MC∈RC×1×1， 然后采用全局平均池计算通道注意力特征张量Fo‑C； 通道注意力特征张 量Fo‑C的计算公式如下： Fo‑C＝GAP(Fo·MC)； 权　利　要　求　书 1/3 页 2 CN 114898143 A 2其中， θC为通道注意力模块感知层P的模型参数， σ 是sigmoid函数； GAP为全局平均池化 处理； P为通道注意力模块感知 层； 步骤B1‑3， 设置空间注意力模块， 其将步骤B1 ‑1生成的两个描述符融合成二维空间注 意图MS∈R1×H×W， 然后通过加权关键区域信息得到空间注意力特征张量Fo‑S； 空间注意力特 征张量Fo‑S的计算公式如下： Fo‑S＝Fo·MS； 其中， Conv为卷积处 理， Con为通道拼接处 理； θS为卷积层参数， σ 是sigmo id函数。 5.根据权利要求3所述的基于全局与局部视觉特征协同分类方法， 其特征在于， 步骤B2 中包括如下分步骤： 步骤B2‑1， 对通道 注意力特 征张量和空间注意力特 征张量采用下式进行融合： Ff＝Fo‑S+Fo‑C； 步骤B2‑2， 采用下式计算类内 融合特征张量的初始融合特 征张量Ffp： 式中， M为类内样本数量； 为类内第i个样本的融合特 征张量。 6.根据权利要求1所述的基于全局与局部视觉特征协同分类方法， 其特征在于， 步骤3 中， 将增强后的新特征张量分别进行全局特征分类和局部特征分类的方法包括如下分步 骤： 步骤C1， 对于增强后的查询集样本及支持集样本的新特征张量， 一方面将这些新特征 张量直接转化为对应样本的局部特征张量； 另一方面将这些新特征张量经全连接层和全局 平均池化处 理后得对应样本的全局特 征张量； 步骤C2， 设置局部特征分类模块对局部特征张量进行分类处理； 局部特征分类模块使 用余弦相似度和关系相似度分类查询集样本， 关系相似度用于比较查询集样本与支持集样 本的特征之间的关系； 余弦相似度Scorel‑c的计算公式如下： 关系相似度Scorel‑r的计算公式如下： 设置全局特征分类模块对全局特征张量进行分类处理； 全局特征分类模块使用欧式距 离分数比较支持集样本和查询集样本， 对于N类样本中第n类样本数据， 欧式距离分数 Scoreg计算公式如下：权　利　要　求　书 2/3 页 3 CN 114898143 A 3