(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210287089.9 (22)申请日 2022.03.22 (71)申请人 厦门大学 地址 361005 福建省厦门市思明区思明南 路422号 申请人 厦门大学深圳研究院 (72)发明人 王其聪　陈小强　施华　秦启峰　 (74)专利代理 机构 厦门南强之 路专利事务所 (普通合伙) 35200 专利代理师 马应森 (51)Int.Cl. G06V 10/774(2022.01) G06V 10/776(2022.01) G06V 10/762(2022.01) G06V 10/74(2022.01)G06V 10/764(2022.01) G06V 10/82(2022.01) G06N 3/08(2006.01) G06N 3/04(2006.01) G06K 9/62(2022.01) (54)发明名称 多主体任务中基 于意图的图片识别方法 (57)摘要 多主体任务中基于意图的图片识别方法， 涉 及计算机视觉技术。 准备多个经典的图片数据 集； 利用图片数据集合成多主体图片数据集； 提 出在不同监督信号下， 如何提高目标主体图片的 识别问题， 将ResNet 50模型作为提取特征的基本 网络模型； 设计在无监督情况下， 基于多样性上 下文相似性的网络架构； 设计在完全监督情况 下， 基于经典分类器的网络架构； 根据数据是否 有监督信号， 利用反向传播算法对网络进行学 习， 获得意图信息， 即模型拥有某一主体的特征 提取能力； 在不同监督信号的情况下， 利用生成 的多个多主体数据集和获得意图信息的模型进 行图片识别任务并利用多个评测标准进行评估。 有效缓解非目标主体对多主体任务中目标图片 识别的干 扰。 权利要求书3页 说明书7页 附图2页 CN 114627348 A 2022.06.14 CN 114627348 A 1.多主体任务中基于意图的图片识别方法， 其特 征在于包括以下步骤： 1)准备多个经典的图片数据集； 2)利用图片数据集 合成多主体图片数据集； 3)提出在不同监督信号下， 如何提高目标主体图片的识别问题， 将ResNet50模型作为 提取特征的基本网络模型； 4)设计在无监 督情况下， 基于多样性上 下文相似性的网络架构； 5)设计在完全监 督情况下， 基于经典分类 器的网络架构； 6)根据数据是否有监督信号， 利用反向传播算法对网络进行学习， 获得意图信息， 即模 型拥有某一主体的特 征提取能力； 7)在不同监督信号的情况下， 利用生成的多个多主体数据集和获得意图信息的模型进 行图片识别任务并利用多个评测标准进行评估。 2.如权利要求1所述多主体任务中基于意图的图片识别方法， 其特征在于在步骤1)中， 所述多个经典的图片数据集可包括MNIST数据集、 CIFAR10/100数据集； 所述MNIST数据集是 包含10个数字类别 的60000/10000个训练/测试图像的手写数字数据集， MNIST数据集由 70000个手写数字组成， 大小为28 ×28像素， 数字居中且图像尺寸标准化； 所述CIFAR10/100 数据集是一个自然图像数据集， 包含来自10/100个对象类别的50000/10000训练/测试图 像。 3.如权利要求1所述多主体任务中基于意图的图片识别方法， 其特征在于在步骤2)中， 所述利用图片数据集合成多主体图片数据集， 包括MC10/100和CM10/100数据集， 其具体步 骤如下： (1)将以CIFAR10数据集为底， 加入MNIST数据集中 的数字主体并且以CIFAR10类别为目 标标签的数据集称为CM10； 将以CIFAR10为底， 加入MNIST数据集中的数字主体并且以MNIST 类别为目标标签的数据集称为MC10； 将以CIFAR100为底， 加入MNIST数据集中的数字主体并 且以CIFAR100类别为目标标签的数据集称为CM100； 将以CIFAR10为底， 加入MNIST数据集中 的数字主体并且以MN IST类别为目标 标签的数据集称为M C100； (2)利用MN IST数据集和CIFAR 10/100制作具有双重语义的图片数据集， 具体操作如下： 首先将MNIST灰度图转换为RGB图像， 并且将CIFAR系列的图片像素设置为模型的默认 的尺度； 然后以CIFAR10/100为底， 将MNIST的图片大小按比例放缩， 合成7种比例的图片数 据， 每一种比例都有4种不同的具有多个主体的数据集； 最后将 MNIST图片叠加在CIFAR图片 的左上角作为另一个主体存在； 为不遮挡到CIFAR的主体， MNIST图片是半透明的， 生成2种 双重语义的图片， 分别是基于MNIST数据集和CIFAR10生成的MC10数据集， 基于MNIST数据集 和CIFAR100生成的M C100数据集。 4.如权利要求1所述多主体任务中基于意图的图片识别方法， 其特征在于在步骤3)中， 所述提高目标主体图片的识别 问题， 要考虑对于具有不同监督信号的数据集对模型的影 响。 5.如权利要求1所述多主体任务中基于意图的图片识别方法， 其特征在于在步骤4)中， 所述设计在无监 督情况下， 基于多样性上 下文相似性的网络架构的具体步骤如下： 对于无标签的训练集， 采用的是无监督方式的分支进行训练学习； 首先利用卷积神经 网络做为特 征提取的网络， 将图片样本映射成2048维的特 征向量F；权　利　要　求　书 1/3 页 2 CN 114627348 A 2选用较为广泛使用的Resnet ‑50网络结构作为特征提取网络； 该网络结构不仅有强大 的特征提取能力， 并且能够缓解网络退化的问题； BN()指的是归一化层， 将特征网络输出 的特征进行批量归一化， 使得各个样本数值能够处于同一分布空间； 再利用基于多样性上 下文相似性度量方法的思路， 将特 征网络和并类过程交 互进行优化特 征； Lw＝functi on(F) 其中， Lw代表伪标签， function()在训练过程中生成伪标签是多个阶段性的， 分别是将 每个样本设置为一类生成伪标签阶段， 利用聚类算法进一步生成伪标签阶段和利用基于相 似性的距离进 行并类重新生成伪标签阶段这三个阶段进行优化伪标签； 在这期间中每个生 成伪标签的阶段都伴随着特 征网络的更新， 进 而挖掘标签指导网络学习的潜力。 6.如权利要求1所述多主体任务中基于意图的图片识别方法， 其特征在于在步骤5)中， 所述设计在完全监 督情况下， 基于经典分类 器的网络架构的具体步骤如下： 对于有标签的训练集， 采用带监督信号方式的分支进行训练学习， 利用卷积神经网络 提取特征之后， 再 经过一个常用的分类 器： Ffinal＝FC2(FC1(F)) 当以CIFAR10数据集或MNIST 数据集的类别为目标主体时， FC1， FC2分别代表1024个神经 元和10个神经元的全连接层， 分类器输出10维的特征Ffinal进行分类； 当以CIFA R100的类别 为目标主体时， FC2的全连接层为10 0个神经元， 最后输出的是10 0维特征进行分类； 采用常规交叉熵损失函数进行模型的训练优化： 其中， ffinal代表单个样本最后生成的特征； label代表该样本的真实标签； C代表类别 数； 该分支的加入使得模型能够利用标签信息来更好的优化特征网络， 进而提升模型 的性 能。 7.如权利要求1所述多主体任务中基于意图的图片识别方法， 其特征在于在步骤6)中， 所述根据数据是否有监督信号， 利用反向传播算法对网络进 行学习， 获得意图信息， 即模型 拥有某一主体的特征提取能力的具体办法可为： 由于模型适应于不同标签情况下的训练 集， 模型在无监督和有监督情况下的相同之处在于每次输入网络的样本数为64张； 设置模 型的训练动量为0.9， 设置权重衰减为5e ‑4； 在有监督的分支的初始学习率为0.01并且迭代 次数皆为20； 在无监督分支， 在初始 化模型时学习率为0.1， 在后续迭代中为0.01； 在初始化 模型时迭代次数为20次， 后续为5次； 无监督过程中初始化对模型参数的调整幅度较大， 而 后续并类过程中微调模型即可； MNIST数据集原图片尺度为28 ×28， 并且为单通道的图片， 在训练或测试的过程中， 将其放大至22 4×224的尺度， 并且利用多次复制的手段， 将其扩展 到3通道的图片， 使其能够适应网络的训练及测试。 8.如权利要求1所述多主体任务中基于意图的图片识别方法， 其特征在于在步骤7)中， 所述在不同监督信号的情况下， 利用生成的多个多主体数据集和获得意图信息的模型进 行 图片识别任务并利用多个评测标准进行评估的具体办法： 在无监督情况下， 一方面需要根 据伪标签和真实标签计算其聚类情况下的识别准确率进行评估； 对于 真实标签和伪标签对 应问题， 利用基于类别 数量与真实标签相等的k ‑means方法对已学习的特征进行生成伪标权　利　要　求　书 2/3 页 3 CN 114627348 A 3