(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210236149.4 (22)申请日 2022.03.11 (71)申请人 浙江工商大 学 地址 310018 浙江省杭州市下沙高教园区 学正街18号 (72)发明人 来锴楠　田彦　 (74)专利代理 机构 杭州求是专利事务所有限公 司 33200 专利代理师 刘静 (51)Int.Cl. G06V 10/26(2022.01) G06V 10/774(2022.01) G06V 10/762(2022.01) G06K 9/62(2022.01) (54)发明名称 基于弱监督学习的域自适应实例分割方法 及装置 (57)摘要 本发明公开了一种基于弱监督学习的域自 适应实例分割方法及装置， 首先在源域上训练初 始实例分割模 型， 输出骨干网络特征和语义分数 张量， 使用层次凝聚聚类构建语义树， 然后对语 义树的叶节 点进行抽样， 快速判断实例分割掩码 是否准确， 根据标注信息对预测不准确的实例进 行掩码修正， 根据目标域掩码修正结果微调初始 实例分割模型， 从而改善实例分割模型的有效 性。 本发明通过使用有限的验证信号快速判断准 确样本， 并将这些准确样本传播改善初始实例分 割模型适应能力， 处理不准确样本中的部分噪 声， 解决了在域自适应方面， 虽然可以通过引入 来自目标域数据集的监督信号来改进分实例割 模型， 但人工标注繁琐耗时， 并且自训练在伪标 签中包含太多噪声的问题。 权利要求书2页 说明书7页 附图3页 CN 114612663 A 2022.06.10 CN 114612663 A 1.一种基于弱监 督学习的域自适应实例分割方法， 其特 征在于， 该 方法包括以下步骤： (1)在源域上训练初始实例分割模型， 输出骨干网络特征和语义分数张量， 所述语义分 数张量包括每 个像素所属不同实例的概 率； (2)在目标域上利用源域训练得到的初始实例分割模型进行实例分割， 输出每张图像 对应的骨干网络特 征和语义分数张量； (3)在步骤(2)得到的语义分数张量的实例维度上取最大值， 得到目标域每张图像的实 例分割掩码； 将目标域每张图像的实例分割掩码分别与目标域骨干网络特征、 目标域语义 分数张量相乘， 得到目标域每 个实例的掩码特 征和掩码语义分数张量； (4)将步骤(3)得到的实例的掩码特征和掩码语义分数张量进行拼接， 得到实例的增强 掩码特征； (5)使用层次凝聚聚类构建每个类别对应的语义树， 将属于该类别的每个实例的增强 掩码特征视为一个叶节点， 每次凝聚选择实例间增强掩码特征的欧式距离最小的两个子节 点进行合并得到合并节点， 所述合并节点的增强掩码特征和掩码 语义分数张量分别是子节 点对应增强掩码特 征和掩码语义分数张量的线性组合； (6)对于每个语义树， 基于设定的抽样率对语义树的叶节点进行抽样， 快速判断实例分 割掩码是否准确， 标注判断结果； (7)将类别k对应的语义树上的所有抽样实例的标注结果的统计值与设定阈值比较： 如 果统计值大于阈值说明类别k的预测准确， 不准确的抽样实例会利用准确的抽样实例进行 掩码修正； 如果统计值小于等于阈值说明类别k的预测不准确， 将对应的语义树拆 分为两个 子树， 每个子树重新抽样实例计算标注结果的统计值， 再与设计阈值进行比较， 重复拆分 ‑ 比较过程 直到子树不可拆分或子树 不包含任何准确的抽样实例； (8)根据目标域掩码修 正结果微调初始实例分割模型。 2.根据权利要求1所述的一种基于弱监督学习的域自适应实例分割方法， 其特征在于， 步骤(5)具体为： 将实例t对应的子节点和实例 o对应的子节点进行合并得到合并节点nj， 合并节点nj的 增强掩码特征fj+和掩码语义分数张量sj是子节点对应增强掩码特征和掩码语义分数张量 的线性组合： fj+＝wtft++wofo+ sj＝wtst+woso 其中， 权重wt和wo与子节点的大小相关： 其中， Pt和Po分别为相应子节点包 含的实例个数； 对于叶子节点， wt＝wo＝1/2； 通过多次凝聚合并节点， 最终构建成每 个类别对应的语义 树。 3.根据权利要求1所述的一种基于弱监督学习的域自适应实例分割方法， 其特征在于， 步骤(7)中， 类别k对应的语义 树上的所有抽样实例的标注结果的统计值 Qk的计算公式为： 权　利　要　求　书 1/2 页 2 CN 114612663 A 2其中， N是对于类别k的语义树进行抽样的实例个数， 实例的编号为k1， ...， kN， lt是步骤 (6)中实例分割掩码的判断结果。 4.根据权利要求1所述的一种基于弱监督学习的域自适应实例分割方法， 其特征在于， 所述初始实例分割模型的骨干网络由swin  transformer构成； 在源域， 训练数据集包括图 像集{Xsource}和相应实例掩码图像集{Ysource}； 在目标域， 测试数据集仅包括图像集 {Xtatget}。 5.根据权利要求1所述的一种基于弱监督学习的域自适应实例分割方法， 其特征在于， 所述初始实例分割模型在训练阶段进行数据增强， 包括水平/垂直翻转、 平移和尺度伸缩； 所述初始实例分割模型使用AdamW优化器进行训练， 初始学习率为0.001， 遵循多项式衰减 策略， 权重衰减为0.0 001。 6.根据权利要求1所述的一种基于弱监督学习的域自适应实例分割方法， 其特征在于， 步骤(3)中， 目标域实例t的掩码特 征ft和掩码语义分数张量st具体为： 掩码特征ft为目标域骨干网络 特征乘以目标域实例t的实例分割掩码， 掩码语义 分数张 量st为目标域语义分数张量乘以目标域实例t的实例分割掩码， st∈RW×H×K， K是图像所包含 的实例个数， W ×H为图像尺寸。 7.根据权利要求1所述的一种基于弱监督学习的域自适应实例分割方法， 其特征在于， 步骤(6)中， 对语义 树的叶节点进行抽样， 具体为： 对于类别k构建的语义树Tk， 基于设定的抽样率R随机选择N个实例分割掩码 标 注者快速判断选择的实例分割掩码是否准确， 如果预测的实例分割掩码mt准确则用1标注， 不准确用0标注。 8.根据权利要求1所述的一种基于弱监督学习的域自适应实例分割方法， 其特征在于， 采用Pascal  VOC 2012数据集和COCO数据集作为实例分割模型的训练集。 9.一种基于弱监督学习的域自适应实例分割装置， 包括存储器和一个或多个处理器， 所述存储器中存储有 可执行代码， 其特征在于， 所述处理器执行所述可执行代码时， 用于实 现如权利要求1 ‑8中任一项所述的基于弱监 督学习的域自适应实例分割方法。 10.一种计算机可读存储介质， 其上存储有程序， 其特征在于， 该程序被处理器执行时， 实现如权利要求1 ‑8中任一项所述的基于弱监 督学习的域自适应实例分割方法。权　利　要　求　书 2/2 页 3 CN 114612663 A 3