(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210330051.5 (22)申请日 2022.03.31 (65)同一申请的已公布的文献号 申请公布号 CN 114417046 A (43)申请公布日 2022.04.29 (73)专利权人 腾讯科技 （深圳） 有限公司 地址 518057 广东省深圳市南 山区高新区 科技中一路腾讯大厦3 5层 (72)发明人 郭卉　 (74)专利代理 机构 北京三高永信知识产权代理 有限责任公司 1 1138 专利代理师 李文静 (51)Int.Cl. G06F 16/583(2019.01) G06V 10/40(2022.01)G06V 10/74(2022.01) G06V 10/762(2022.01) G06V 10/774(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) 审查员 邹玥 (54)发明名称 特征提取模型的训练方法、 图像检索方法、 装置及设备 (57)摘要 本申请公开了一种特征提取模型的训练方 法、 图像检索方法、 装置及设备， 属于图像处理技 术领域。 方法包括： 获取多个样本图像对和多个 样本图像对中各张样本图像的标注类别； 根据神 经网络模型获取多个样本图像对中各张样本图 像的图像特征； 基于多个样本图像对中各张样本 图像的图像特征， 确定多个样 本图像对中各张样 本图像的第一类别特征； 基于多个样本图像对中 各张样本图像的标注类别， 确定多个样本图像对 中各张样 本图像的第二类别特征； 基于多个样本 图像对中各张样本图像的图像特征、 第一类别特 征和第二类别特征， 对神经网络模型进行调整， 得到特征提取模 型。 实现了利用样 本图像的预测 类别、 标注类别约束模型来提取图像特征， 提高 了模型的准确性。 权利要求书5页 说明书30页 附图6页 CN 114417046 B 2022.07.12 CN 114417046 B 1.一种特 征提取模型的训练方法， 其特 征在于， 所述方法包括： 获取多个样本图像对和所述多个样本图像对中各张样本图像的标注类别， 所述样本图 像对包括两张相似的样本图像； 根据神经网络模型获取 所述多个样本图像对中各张样本图像的图像特 征； 基于所述多个样本图像对中各张样本图像的图像特征， 确定所述多个样本图像对中各 张样本图像的第一类别特征， 所述样本图像的第一类别特征用于表征预测的所述样本图像 的类别； 基于所述多个样本图像对中各张样本图像的标注类别， 确定所述多个样本图像对中各 张样本图像的第二类别特征， 所述样本图像的第二类别特征用于表征标注的所述样本图像 的类别； 对于任一个样本图像对， 基于所述任一个样本图像对中至少一张样本图像的图像特 征， 确定所述任一个样本图像对的第一损失值； 确定所述任一个样本图像对的三元组图像， 所述任一个样本图像对的三元组图像包括 所述任一个样本图像对和目标样本图像对中的一张样本图像， 所述目标样本图像对是所述 多个样本图像对中除所述任一个样本图像对之外且 满足距离条件的样本图像对； 基于所述任一个样本图像对的三元组图像中各张样本图像的图像特征， 确定所述任一 个样本图像对的第二损失值； 基于所述多个样本图像对中各张样本图像的第 一类别特征、 第 二类别特征和所述多个 样本图像对的第一损失值、 第二损失值， 对所述神经网络模型进行调整， 得到特征提取模 型。 2.根据权利要求1所述的方法， 其特征在于， 所述样本 图像的标注类别为至少一个， 所 述基于所述多个样本图像对中各张样本图像的标注类别， 确定所述多个样本图像对中各张 样本图像的第二类别特 征， 包括： 对于所述多个样本图像对中各张样本图像的任一个标注类别， 从多个候选类别中确定 与所述任一个标注类别相同的候选类别， 将与所述任一个标注类别相同的候选类别的类别 特征确定为所述任一个标注类别的类别特 征； 对于所述多个样本图像对中的任一张样本图像， 基于所述任一张样本图像的至少一个 标注类别的类别特 征， 确定所述任一张样本图像的第二类别特 征。 3.根据权利要求2所述的方法， 其特征在于， 所述将与 所述任一个标注类别相同的候选 类别的类别特 征确定为所述任一个标注类别的类别特 征之前， 还 包括： 根据所述多个样本 图像对中各张样本 图像的标注类别， 确定共现矩阵， 所述共现矩阵 中的任一个数据表征所述任一个数据所在行对应的候选类别与所述任一个数据所在列对 应的候选类别共同出现的概 率或者次数， 一个标注类别是一个候选类别； 基于阿达马矩阵和所述共现矩阵， 确定各个候选类别的类别特征， 所述阿达马矩阵的 阶数大于候选类别的数量。 4.根据权利要求3所述的方法， 其特征在于， 所述样本 图像的标注类别为至少两个， 所 述根据所述多个样本图像对中各张样本图像的标注类别， 确定共现矩阵， 包括： 获取初始化矩阵， 所述初始化矩阵的各行对应各个候选类别， 且所述初始化矩阵的各 列对应各个候选类别；权　利　要　求　书 1/5 页 2 CN 114417046 B 2对于所述多个样本图像对中的任一张样本图像， 根据所述任一张样本图像的至少两个 标注类别， 在目标行和目标列的交叉位置处添加非零数据， 所述 目标行是所述初始化矩阵 中与所述任一张样本图像的一个标注类别相同的候选类别所对应的行， 所述目标列是所述 初始化矩阵中与所述任一张样本图像的除所述一个标注类别 之外的其他标注类别相同的 候选类别所对应的列； 将所述初始化矩阵中各行和各列的交叉位置处 的非零数据进行累加， 得到所述共现矩 阵。 5.根据权利要求3所述的方法， 其特征在于， 所述基于阿达马矩阵和所述共现矩阵， 确 定各个候选类别的类别特 征， 包括： 从未确定类别特 征的候选类别中随机 选择第一 候选类别； 从所述阿达马矩阵中随机选择未被使用过的一行数据， 作为所述第 一候选类别的类别 特征； 根据所述第 一候选类别的类别特征和所述阿达马矩阵， 确定所述共现矩阵中所述第 一 候选类别对应的行中各个非零数据所在列所对应的候选类别的类别特 征； 若存在所述未确定类别特征的候选类别， 则从所述从未确定类别特征的候选类别中随 机选择第一 候选类别开始循环， 直至不存在所述未确定类别特 征的候选类别。 6.根据权利要求5所述的方法， 其特征在于， 所述根据所述第 一候选类别的类别特征和 所述阿达马矩阵， 确定所述共 现矩阵中所述第一候选类别对应的行中各个非零数据所在列 所对应的候选类别的类别特 征， 包括： 基于所述共现矩阵中所述第 一候选类别对应的行中的各个非零数据， 确定最大非零数 据所在列所对应的且未确定类别特 征的第二 候选类别； 从所述阿达马矩阵中确定与第一候选标签的类别特征最接近且未被使用过的一行数 据， 作为所述第二 候选类别的类别特 征； 若所述共现矩阵中所述第一候选类别对应的行中存在未确定类别特征的且为非零数 据所在列所对应的候选类别， 则从所述基于所述共现矩阵中所述第一候选类别对应的行中 的各个非零数据， 确定最大非零数据所在列所对应的且未确定类别特征的第二候选类别开 始循环， 直至所述共现矩阵中所述第一候选类别对应的行中不存在未确定类别特征的且为 非零数据所在列所对应的候选类别。 7.根据权利要求1所述的方法， 其特征在于， 所述基于所述任一个样本图像对中至少一 张样本图像的图像特 征， 确定所述任一个样本图像对的第一损失值， 包括： 对所述任一个样本图像对中至少一张样本图像的图像特征进行二值化处理， 得到所述 任一个样本图像对中至少一张样本图像的二 值图像特 征； 基于所述任一个样本图像对中至少一张样本图像的图像特征和二值图像特征， 确定所 述第一损失值。 8.根据权利要求1所述的方法， 其特征在于， 所述确定所述任一个样本图像对的三元组 图像， 包括： 确定所述任一个样本图像对中的一张样本图像分别和各个其他样本图像对中的一张 样本图像之 间的第一距离信息， 所述各个其他样本图像对是所述多个样本图像对中除所述 任一个样本图像对之外的各个样本图像对；权　利　要　求　书 2/5 页 3 CN 114417046 B 3