(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210335105.7 (22)申请日 2022.03.31 (71)申请人 上海工程 技术大学 地址 201620 上海市松江区龙腾路3 33号 (72)发明人 符星　魏丹　罗一平　沈江霖　 (74)专利代理 机构 上海唯智赢专利代理事务所 (普通合伙) 31293 专利代理师 姜晓艳 (51)Int.Cl. G06V 10/762(2022.01) G06V 10/82(2022.01) G06V 40/10(2022.01) (54)发明名称 一种基于无监督跨摄像机聚类对比行人重 识别方法 (57)摘要 本发明属于机器视觉的技术领域， 公开了一 种基于无监督跨摄像机聚类对比行人重识别方 法， 包括以下步骤： 步骤一、 通过摄像机标准化处 理将训练集的图像转换为由同一标准摄像机拍 摄得到的图像， 利用带有CIBN层的卷积神经网络 进行特征提取， 然后对提取的特征进行聚类分 析， 生成伪标签， 并保存在字典中， 所述CIBN层设 置为线性融合的BN层和IN层， 以替代卷积神经网 络中原有的BN层， 提升整个卷积神经网络的泛化 性； 步骤二、 对待检图像先进行摄像机标准化处 理， 再用带有CIBN层的卷积神经网络进行特征提 取， 然后对提取的特征进行聚类分析， 最后将聚 类分析的结果与字典里的类别做比较， 输出检测 结果。 权利要求书1页 说明书7页 附图2页 CN 114863154 A 2022.08.05 CN 114863154 A 1.一种基于无监 督跨摄像机聚类对比行 人重识别方法， 其特 征在于包括以下步骤： 步骤一、 通过摄像机标准化处理将训练集的图像转换为由同一标准摄像机拍摄得到的 图像， 利用带有CIBN层的卷积神经网络进行特征提取， 然后对提取的特征进 行聚类分析， 生 成伪标签， 并保存在字典 中， 所述CIBN层设置为线性融合的BN层和IN层， 以替代卷积神经网 络中原有的BN层， 提升整个卷积神经网络的泛化 性； 步骤二、 对待检图像先进行摄像机标准化处理， 再用带有CIBN层的卷积神经网络进行 特征提取， 然后对提取 的特征进行聚类分析， 最后将聚类分析的结果与字典里 的类别做比 较， 输出检测结果。 2.根据权利要求1所述的基于无监督跨摄像机聚类对比行人重识别方法， 其特征在于： 利用如下公式对各个原 始摄像机拍摄的图像进行摄 像机标准 化处理 其中， PA(.)表示特征分布对准， 表示摄像机标准化处理后输出的标准图像， 表示 原始摄像机i拍摄得到的所有图像， δ(c)表示原 始摄像机i的估计对准 参数。 3.根据权利要求2所述的基于无监督跨摄像机聚类对比行人重识别方法， 其特征在于： 所述CIBN层的函数模型设置如下 其中， x[h,w,n]表示摄像机标准化后的训练集中所有的标准图像从通道数n、 特征高度 h和特征宽度w三个通道中转换得到的特征向量， 表示经过CIBN层相应的输出， γ和 β 表示仿射参数， ρ 表示可学习的参数， μbn和 表示由BN层计算得到的某摄像机c对应所有 标准图像的均值和方差， μin和 表示由IN层 计算得到的某摄像机c对应所有标准图像的均 值和方差， 某摄像机c属于拍摄得到训练集中图像的摄像机之一， 表示训练集中某摄像 机c拍摄的图像对应的标准图像。 4.根据权利要求1所述的基于无监督跨摄像机聚类对比行人重识别方法， 其特征在于： 在所述步骤一中， 对聚类分析得到的簇类进 行下采样， 形成各个伪标签并保存在字典中， 在 测试或者实际检测时， 完成聚类分析后， 选择与字典 中伪标签最不相近的族类加入字典中， 以补充字典资源。 5.根据权利要求2所述的基于无监督跨摄像机聚类对比行人重识别方法， 其特征在于： 在所述步骤二中， 采用聚类对比损失函数计算聚类分析得到的族类和字典中各个伪标签的 相似度， 选择相似度最高的伪标签作为检测结果输出。权　利　要　求　书 1/1 页 2 CN 114863154 A 2一种基于无 监督跨摄像机聚类对比行人重识别方 法 技术领域 [0001]本发明属于机器视觉的技术领域， 具体涉及一种基于无监督跨摄像机聚类对比行 人重识别方法。 背景技术 [0002]行人重识别(REID)旨在匹配从非重叠摄像机网络收集的数据库中给定的查询人 员， 由于强大的CNN， 有监督REID的研究取得了巨大进展， 但是有监督带来的问题就是巨大 的人力成本花费在给样本注释， 为了减轻昂贵的id注释要求， 目前最先进的无监督方法是 利用内存字典和聚类操作中的伪标签来训练神经网络。 在每个流程开始时利用当前的神经 网络提取训练数据的所有图像特征， 并将这些储存在 储存器中的图像特征作为字典， 然后， 通过聚类算法， 如DBS CAN或者K ‑means对图像特征进行聚类并生 成伪标签， 聚类完生 成id并 分配给每个图像作为个人Id身份， 最后使用对比损失中的三重损失、 infoNCE  loss或基于 记忆字典的交叉熵损失函数分类对神经网络进行训练。 [0003]尽管这些通过生成伪标签与训练样本对比的方法取得了显著的性能， 但是无监督 与有监督学习之间仍然存在很大 的差距， 这限制了无监督在实际场景中的应用。 因为大多 数伪标签预测 算法都有着同一个相似的标准， 即首先计算样本相似性， 然后将聚类识别的 相似样本分配给相似标签， 计算的样本相似性很大程度上决定了REID的准确性， 尤其是来 自不同摄像机的样本， 每个样本身份都可以有不同参数和环境的多个摄像机拍摄， 相同身 份的特征比不同身份的特征更接近。 要从所有的摄像机中学习身份之间的关系， 有两个不 同的目标:学习同一摄像机中的身份之 间的关系和学习跨摄像机的身份 关系， 然而， 这两个 目标之间存在矛盾， 处理摄像机之间的分布差距对于摄像机之间的身份匹配至关重要， 但 在单个摄像机中学习要容易得多， 因此， 传统的ReID方法主要侧重于关联不同的摄像机， 这 需要昂贵的摄像机间注释。 此外， 在训练集上学习后， 部 分学习到的知识与这些特定摄像机 之间的连接有很强的相关性， 使得模型在由看不见 的摄像机组成的场景下泛化较差， 在一 个数据集上学习的ReID模 型描述其他数据集图像的能力往往有限， 即跨数据集泛化能力有 限。 发明内容 [0004]本发明提供了一种基于无监督跨摄像机聚类对比行人重识别方法， 解决了现有无 监督模型不令人满意的泛化能力和过度依赖相机间的注释等 技术问题。 [0005]本发明可通过以下技 术方案实现： [0006]一种基于无监 督跨摄像机聚类对比行 人重识别方法， 包括以下步骤： [0007]步骤一、 通过摄像机标准化处理将训练集的图像转换为由同一标准摄像机拍摄得 到的图像， 利用带有CIBN层的卷积神经网络进行特征提取， 然后对提取的特征进行聚类分 析， 生成伪标签， 并保存在字典中， 所述CIBN层设置为线性融合的BN层和IN层， 以替代卷积 神经网络中原有的BN层， 提升整个卷积神经网络的泛化 性；说　明　书 1/7 页 3 CN 114863154 A 3