(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210394687.6 (22)申请日 2022.04.15 (71)申请人 合肥工业大 学 地址 230009 安徽省合肥市包河区合肥工 业大学屯溪路校区 (72)发明人 吴晶晶　楚喻棋　刘学亮　洪日昌　 蒋建国　齐美彬　 (74)专利代理 机构 南京苏高专利商标事务所 (普通合伙) 32204 专利代理师 常虹 (51)Int.Cl. G06T 7/246(2017.01) G06T 7/73(2017.01) G06V 10/44(2022.01) G06V 10/80(2022.01)G06V 10/764(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于样本平衡的多层级回归目标跟踪 方法和跟踪系统 (57)摘要 本发明公开了一种基于样本平衡的多层级 回归目标跟踪方法和跟踪系统， 通过获取搜索图 像中的候选框与参考图像中的目标框之间的融 合特征， 采用级联的多个优化阶段来优化搜索图 像中的候选框； 其中多个优化阶段中的IoU阈值 逐渐提升， 在平衡样本的同时， 逐步提升定位的 精度； 克服了现有方法中设置单一的阈值， 难以 实现样本采样与样本误差的平衡的缺陷。 权利要求书4页 说明书8页 附图3页 CN 114757970 A 2022.07.15 CN 114757970 A 1.一种基于样本平衡的多层级回归目标跟踪方法， 其特 征在于， 包括 步骤： S1、 提取参考图像的浅层特征R1和深层特征R2； 分别根据R1和R2采用PrPool层获取参考 图像中的目标框内区域的浅层特 征a1和深层特 征a2； S2、 提取搜索图像的浅层特征S1和深层特征S2； 获取搜索图像中的初始目标框， 并对搜 索图像中的初始目标框进行扰动， 生成多个 候选框B0i； i＝1,2, …,N， N为搜索图像中候选框 的个数； S3、 分别根据S1和S2采用PrPool层获取搜索图像中每个候选框内的浅层特征和深层特 征， 将第i个候选 框B0i内的浅层特 征记为b1i， 深层特征记为b2i； 将a1与b1i进行通道相乘， 将a2与b2i进行通道相乘； 将通道相乘的两个结果调整为相同 尺寸后进行级联， 得到候选 框B0i对应的第一融合特 征fi； S4、 对搜索图像中的候选框进行第一阶段优化： 将第一融合特征fi输入第一头网络中， 得到第一编码 融合特征fi′； 将fi′输入第一IoU预测单元， 得到候选框B0i的第一预测IoU值 ui； 如果ui>U1， 对候选框B0i采用第一边界框回归单元进行优化， 得到优化后的候选框B1i； U1 为第一IoU预测单 元的IoU阈值； S5、 对第一阶段优化后的候选框进行第二阶段优化： 分别根据S1和S2采用PrPool层获取 搜索图像中优化 候选框B1i的浅层特 征b′1i和深层特 征b′2i； 将a1与b′1i进行通道相乘， 将a2与b′2i进行通道相乘； 将通道相乘的两个结果调整为相 同尺寸后进行级联， 得到优化候选框B1i对应的第二融合特征gi； 将第二融合特征gi输入第 二头网络中， 得到第二编码融合特 征g′i； 将g′i输入第二IoU预测单元， 得到B1i的第二预测IoU值vi； 如果vi>U2， 对B1i采用第二边 界框回归单元进行优化， 得到优化后的候选框B2i； U2为第二IoU预测单元 的IoU阈值， 且U2> U1； S6、 搜索图像中的N个候选框经过步骤S4和S5后， 得到多个优化候选框， 选取其中第二 预测IoU值最大的M个候选 框， 取平均后作为搜索图像的最终目标框 。 2.根据权利要求1所述的多层级回归目标跟踪方法， 其特征在于， 步骤S2中采用基于 ATOM的在线分类 器获取搜索图像中的初始目标框 。 3.根据权利要求1所述的多层级回归目标跟踪方法， 其特 征在于， 还 包括： S7、 将搜索图像作为参考图像， 将搜索图像的下一帧图像作为新的搜索图像， 重新执行 步骤S1至S6， 实现视频中的目标跟踪。 4.根据权利要求1所述的多层级回归目标跟踪方法， 其特征在于， 所述第一IoU预测单 元的IoU阈值U1为0.5， 第二 IoU预测单 元的IoU阈值U2为0.7。 5.根据权利要求1所述的多层级回归目标跟踪方法， 其特征在于， 所述步骤S1和S2中， 采用Resnet ‑50的初始卷积层、 Block1及两个卷积层依次连接组成的浅层特征提取器来提 取参考图像和搜索图像的浅层特 征。 6.根据权利要求1所述的多层级回归目标跟踪方法， 其特征在于， 所述步骤S1和S2中， 采用Resnet ‑50中的Block2 ‑Block4及两个卷积层依次连接组成 的深层特征提取器来提取 参考图像和搜索图像的深层特 征。 7.根据权利要求1所述的多层级回归目标跟踪方法， 其特征在于， 所述第一IoU预测单 元、 第二IoU 预测单元、 第一边界框回归单元和第二边界框回归单元中的参数采用如下步骤权　利　要　求　书 1/4 页 2 CN 114757970 A 2进行训练： S11、 构建样本集， 样本集中每个样本包括： 参考图像， 搜索图像， 参考图像中的目标框， 搜索图像中目标的真实包围框； S12、 将样本中的参考图像和搜索图像按步骤S1至S3进行处理， 然后进行第一阶段优化 处理： 将第一头网络输出的第一编 码融合特征并行输入第一IoU 预测单元和真实IoU计算模 块； 本阶段真实IoU计算模块用于计算选搜索图像中候选框与 目标的真实包围框的IoU值 IoUgt1； 如果IoUgt1>U1， 则将候选框输入第一边界框回归单元进行优化， 得到优化的候选框 BB1n， n＝1,2,…,N1， N1为搜索图像中N个候选 框经第一阶段优化处 理后得到的候选 框数量； 进行第二阶段优化 处理： 根据BB1n得到第二融合特征 并输入第二头网络， 第二头网络输 出的第二编码融合特征并行输入第二IoU预测单元和真实IoU计算模块， 本阶段真实IoU计 算模块用于计算BB1n与目标的真实包围框的IoU值IoUgt2； 如果IoUgt2>U2， 则将候选框BB1n输 入第二边界框回归单元进行优化， 得到优化的候选框BB2m， m＝1,2, …,N2， N2为第一阶段优 化处理后得到的N1个候选 框经第二阶段优化处 理后得到的候选 框数量； S13、 通过最小化损失函数优化第一IoU预测单元、 第二IoU预测单元、 第一边界框回归 单元和第二 边界框回归单 元中的参数； 所述损失函数为： 其中t表示当前训练epoch数， 和 分别表示t ‑1代训练时第一阶段的IoU损失和第 二阶段的I oU损失： 其中IoU1i表示样本中的搜索图像第i个候选框对应的第一预测IoU值， IoU2n表示搜索图 像经第一阶段优化后的第n个候选 框对应的第二预测I oU值； 和 分别表示t ‑1代训练时第一边界框 回归单元的优化误差和第二边界框 回归单 元的优化 误差， 其中BB1n表示样本中搜索图像经第一阶段优化后的第n个候选框， BB2m表示搜索图像经 第二阶段优化后的第m个候选 框； BBgt表示搜索图像中目标的真实包围框； 表示1至t ‑1代训练得到的第一 边界框回归单 元的优化 误差的平均值。 8.一种基于样本平衡的多层级回归目标跟踪系统， 其特 征在于， 包括： 参考图像浅层特 征提取器(1)， 用于提取参 考图像的浅层特 征R1 参考图像深层特 征提取器(2)， 用于提取参 考图像的深层特 征R2； 参考图像浅层PrPo ol层(3)， 用于根据R1获取参考图像中目标框内浅层特 征a1； 参考图像深层PrPo ol层(4)， 用于根据R2获取参考图像中目标框内深层特 征a2； 候选框生成模块(5)， 用于获取搜索图像 中的初始目标框， 并对搜索图像 中的初始目标 框进行扰动， 生成多个候选 框B0i； 搜索图像浅层特 征提取器(6)， 用于提取搜索图像的浅层特 征S1；权　利　要　求　书 2/4 页 3 CN 114757970 A 3