(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210485344.0 (22)申请日 2022.05.06 (71)申请人 山东大学 地址 250061 山东省济南市历下区经十路 17923号 (72)发明人 张伟　张倩　宋然　张明鑫　 刘敬贺　贺玄煜　 (74)专利代理 机构 济南圣达知识产权代理有限 公司 372 21 专利代理师 王雪 (51)Int.Cl. G06V 10/774(2022.01) G06V 10/762(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于多级对比学习的无监督船舶再识 别方法及系统 (57)摘要 本发明属于船舶再识别技术领域， 尤其涉及 一种基于多级对比学习的无监督船舶再识别方 法及系统。 该方法包括， 获取训练船舶图像， 生成 训练船舶图像的伪标签， 并对训练船舶图像进行 增强， 得到增强图像； 采用特征提取网络提取增 强图像的增强图像特征， 基于增强图像特征及伪 标签， 对特征提取网络进行训练； 获取查询船舶 图像， 利用训练好的特征提取网络提取查询船舶 图像特征， 基于查询船舶图像特征， 检索得到备 选船舶图像集中与所述查询船舶图像属于同一 船舶的图像。 本发明通过结合实例级对比学习和 聚类级对比学习， 在无需任何记忆 块的情况下以 无监督的方式学习具有辨识性的船舶特征， 进而 提升船舶再识别任务 准确率。 权利要求书2页 说明书10页 附图2页 CN 114821237 A 2022.07.29 CN 114821237 A 1.一种基于多 级对比学习的无监 督船舶再识别方法， 其特 征在于， 包括： 获取训练船舶图像， 生成训练船舶图像的伪标签， 并对训练船舶图像进行增强， 得到增 强图像； 采用特征提取网络提取增强图像的增强图像特征， 基于增强图像特征及伪标签， 对特 征提取网络进行训练； 所述特征提取网络训练的过程包括： 基于增强图像特征， 计算所有增强图像特征间的 相似度； 基于增强图像特征间的相似度， 按照伪标签相同的样本互为正样本的原则， 计算 实 例级对比损失； 基于增强 图像特征和伪标签， 计算簇特征并确定增强 图像特征样本与簇特 征间的相似度， 进而得到聚类级对比损失； 基于实例级对比损失和聚类级对比损失得到多 级对比学习损失， 以迭代优化特征提取网络， 直到满足迭代停止条件， 得到训练好的特征提 取网络； 获取查询船舶图像， 利用训练好的特征提取网络提取查询船舶图像特征， 基于查询船 舶图像特 征， 检索得到备选船舶图像集中与所述 查询船舶图像属于同一船舶的图像。 2.根据权利要求1损失的基于多级对比学习的无监督船舶再识别方法， 其特征在于， 所 述特征提取网络采用改进的ResNet ‑50网络， 所述改进的ResNet ‑50网络去除分类器， 在网 络的最后增 加批归一 化操作层。 3.根据权利要求1损失的基于多级对比学习的无监督船舶再识别方法， 其特征在于， 所 述对船舶图像进行增强包括： 对船舶图像进行增强操作， 每张船舶图像生成两张不同的增 强图像， 同一张船舶图像的增强图像构成一个正样本对， 共享伪标签。 4.根据权利要求1损失的基于多级对比学习的无监督船舶再识别方法， 其特征在于， 所 述计算实例级对比损失的过程采用实例级对比损失函数实现， 所述实例级对比损失函数 为： 其中， τ1为实例级对比学习的超参数， i和j均 代表每个批次内样本的索引， yi和yj分别代表第i个样本和第j个样本的伪标签， si,j代表两 个样本特征的相似度； N为批次大小， 即每次训练迭代， 从训练集中采样出N张图片， 每张图 片进行两次图像增强操作， 共得到2N张增强图像， 即2N个样本， 在计算实例 级损失时， 所有 2N个样本均参与计算， 在计算Li， j时， k代表2N个样本中第k个样本的索引， yk代表其伪标 签。 5.根据权利要求1损失的基于多级对比学习的无监督船舶再识别方法， 其特征在于， 所 述基于增强 图像特征和伪标签， 确定增强 图像特征样本与簇特征间的相似度， 得到聚类级 对比损失的具体过程包括： 基于增强 图像特征和伪标签， 计算每个批次内部具有相同伪标 签的若干个增强 图像特征样本的均值， 得到簇特征； 计算增强 图像特征样本与若干个簇特权　利　要　求　书 1/2 页 2 CN 114821237 A 2征之间的相似度； 根据每个增强 图像特征样本的伪标签确定其所属的簇， 在聚类对比学习 过程中该增强 图像特征样本所属簇特征为正样本， 其余簇特征为负样本， 计算聚类级对比 损失。 6.根据权利要求1损失的基于多级对比学习的无监督船舶再识别方法， 其特征在于， 所 述聚类级对比损失采用聚类级对比损失函数计算得到， 所述聚类级对比损失函数为： 其中， τ2为聚类级对比学习的超参数， 对第i个样本， 其所属的簇为第c个簇， si,c指该样 本与其所属簇的簇特征间的相似度， si,k指其与该批次样本中第k个簇的簇特征间的相似 度。 7.根据权利要求1损失的基于多级对比学习的无监督船舶再识别方法， 其特征在于， 所 述多级对比学习损失根据多 级对比学习损失函数 得到， 所述多 级对比学习损失函数为： 其中， λ为权重系数， 为实例级对比损失函数， 为聚类级对比损失函数， N为批次 大小。 8.一种基于多 级对比学习的无监 督船舶再识别系统， 其特 征在于， 包括： 预处理模块， 其被配置为： 获取训练船舶图像， 生成训练船舶图像的伪标签， 并对训练 船舶图像进行增强， 得到增强图像； 特征提取模块， 其被配置为： 采用特征提取网络提取增强图像的增强图像特征， 基于增 强图像特 征及伪标签， 对特 征提取网络进行训练； 网络训练模块， 其被配置为： 所述特征提取网络训练的过程包括： 基于增强图像特征， 计算所有增强 图像特征间的相似度； 基于增强 图像特征间的相似度， 按照伪标签相同的样 本互为正样本的原则， 计算 实例级对比损失； 基于增强图像特征和伪标签， 计算簇特征并确 定增强图像特征样本与簇特征间的相似度， 进而得到聚类级对比损失； 基于实例级对比损 失和聚类级对比损失得到多级对比学习损失， 以迭代优化特征提取网络， 直到满足迭代停 止条件， 得到训练好的特 征提取网络； 再识别模块， 其被配置为： 获取查询船舶图像， 利用训练好的特征提取网络提取查询船 舶图像特征， 基于查询船舶图像特征， 检索得到备选船舶图像集中与所述查询船舶图像属 于同一船舶的图像。 9.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 该程序被处理器执 行时实现如权利要求1 ‑7中任一项 所述的基于多级对比学习的无监督船舶再识别方法中的 步骤。 10.一种计算机设备， 包括存储器、 处理器及存储在存储器上并可在处理器上运行的计 算机程序， 其特征在于， 所述处理器执行所述程序时实现如权利要求 1‑7中任一项 所述的基 于多级对比学习的无监 督船舶再识别方法中的步骤。权　利　要　求　书 2/2 页 3 CN 114821237 A 3