(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210356521.5 (22)申请日 2022.03.30 (71)申请人 北京航空航天大 学 地址 100191 北京市海淀区学院路37号 (72)发明人 杨静　刘尚　 (74)专利代理 机构 北京慕达星云知识产权代理 事务所 (特殊普通合伙) 11465 专利代理师 李冉 (51)Int.Cl. G06T 7/246(2017.01) G06T 7/269(2017.01) G06T 7/90(2017.01) G06V 10/774(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) G06V 20/40(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于核自适应滤波与YOLOX检测结合的机动 多目标跟踪方法 (57)摘要 本发明公开了一种基于核自适应滤波与 YOLOX检测结合的机动多目标跟踪方法。 首先， 使 用基于YOLOX的目标检测网络对视频序列当前帧 目标进行初步检测得到检测结果； 进一步使用核 自适应滤波器作为非线性跟踪器， 以目标的历史 位置和尺 寸状态信息为输入， 对目标当前帧的位 置和尺寸的状态信息进行预测， 得到预测结果； 然后利用运动相似度与外观相似度对检测结果 和预测结果进行第一重匹配； 对 未匹配成功的结 果采用颜色空间特征相似度进行第二重匹配； 为 了进一步增强匹配准确性， 对还 未匹配成功的结 果继续采用完全交并比指标CIoU进行第三重匹 配， 完成对当前帧的所有目标的跟踪， 不断循环 以上过程完成对整个视频序列中的多目标的持 续检测及跟踪。 权利要求书5页 说明书18页 附图4页 CN 114972418 A 2022.08.30 CN 114972418 A 1.一种基于核自适应滤波与YOLOX检测结合的机动多目标跟踪方法， 其特征在于， 包括 以下步骤： 步骤1： 通过YOLOX目标检测网络对待跟踪视频序列的当前帧进行目标检测， 确定目标 在当前帧中的目标状态信息， 并生成检测框； 步骤2： 进行下一帧预测， 根据为上一帧中不同匹配状态的检测目标分配的核自适应滤 波器， 构建目标多模态运动状态预测模型， 将历史帧的目标状态信息输入所述目标多模态 运动状态预测模型， 来预测当前帧的目标在下一帧的所述目标状态信息， 并生成跟踪框； 步骤3： 采用多重匹配策略对所述检测框和所述跟踪框进行前后帧数据关联计算， 获得 匹配结果； 步骤4： 利用所述匹配结果更新核自适应滤波器的输入以及所述目标状态信息； 步骤5： 提取所述待跟踪视频序列的下一帧， 并重复所述步骤1 ‑4直至提取完所述待跟 踪视频序列的所有帧， 完成所述待跟踪视频序列的多目标跟踪。 2.根据权利要求1所述的基于核自适应滤波与YOLOX检测结合的机动多目标跟踪方法， 其特征在于， 所述步骤1包括训练与应用两个阶段， 其中训练阶段构建并训练YOLOX目标检 测网络， 是离线完成的， 应用阶段使用离线训练得到的Y OLOX目标检测网络进 行当前帧的检 测； 具体过程 为： 步骤11： 根据训练视频序列生成目标检测数据集， 并将所述目标检测数据集划分为训 练集和测试集； 步骤12： 根据所述训练集利用深度学习框架构建YOLOX目标检测网络； 步骤13： 利用所述测试集计算所述YOLOX目标检测网络的损失函数， 并利用反向传播算 法更新所述YOLOX目标检测网络的网络参数， 优化所述YOLOX目标检测网络； 步骤14： 将待跟踪视频序列的当前帧图像送入训练完成的YOLOX目标检测网络中， 得到 当前帧中目标状态信息， 进 而生成检测框 。 3.根据权利要求1所述的基于核自适应滤波与YOLOX检测结合的机动多目标跟踪方法， 其特征在于， 所述步骤2具体实现过程包括训练与应用两个阶段， 其中训练阶段是离线完成 的， 构建并训练基于核自适应滤波器的目标多模态运动状态预测模型； 应用阶段使用离线 训练得到的目标多模态运动状态预测模型进行当前帧的预测； 具体过程 为： 步骤21： 利用训练视频序列生成核自适应滤波器的多目标跟踪数据集， 建立基于核自 适应滤波的目标多模态运动状态预测模型； 步骤22： 对所述多目标跟踪数据集进行标注， 生成标注文件， 利用标注文件计算每个目 标连续多帧的检测框的中心 位置以及尺寸大小， 提取所述训练视频序列中的不同目标的标 注结果， 再根据目标的运动模态生成多组训练集与测试集， 组成多模态运动数据集； 步骤23： 设定核自适应滤波参数， 使用多模态运动数据集对基于核自适应滤波器的目 标多模态运动状态预测模型进行混合训练； 步骤24： 根据输入的待跟踪训练视频序列， 利用基于核自适应滤波器的目标多模态运 动状态预测模型， 对当前帧的目标状态信息进行预测估计， 将前k帧的目标状态信息输入目 标多模态运动状态预测模型， 得到目标在当前帧中的位置与尺寸信息的估计值， 进而生成 跟踪框。 4.根据权利要求3所述的基于核自适应滤波与YOLOX检测结合的机动多目标跟踪方法，权　利　要　求　书 1/5 页 2 CN 114972418 A 2其特征在于， 所述步骤21中建立基于核自适应滤波的目标多模态运动状态预测模型的过程 包括： 步骤211： 预设核自适应滤波器在当前时刻n的输入X(n)由目标在前k个时刻的目标状 态信息构成： 其中， x(n ‑1)＝[x(n ‑1),y(n‑1),w(n‑1),h(n‑1)]T为n‑1时刻的目标状态信息； (x(n ‑ 1),y(n‑1))为n‑1时刻目标框的中心坐标； (w(n ‑1),h(n‑1))表示n ‑1时刻目标框的宽和高； 核自适应滤波器输出为 用来估计n时刻的目标状态信息x(n)； k取值为小于n的正整 数； 步骤212： 采用核自适应滤波器通过学习非线性 映射f(·)构建相应的输出f(X(n))作 为n时刻状态信息x(n)对应的估计值 f(·)表示成如下的线性形式： 其中Ω表示再生希尔伯特空间中的权重矢量； 为输入空间 到再生希尔伯特空间 的非线性映射； 再生希尔伯特空间中的权 重矢量进一 步表示成如下的线性组合形式： m为核自适应滤波器字典现存节点个数； al为第l个字典节点的权 重系数； 步骤213： 结合再生希尔伯特空间的性质得到n时刻输入X(n)对应的输出为： 其中κ(·,X(l))是以X(l)为中心的核函数， 常用核函数包括线性核、 多项式核、 高斯 核、 拉普拉斯核或Sigmo id核。 5.根据权利要求4所述的基于核自适应滤波与YOLOX检测结合的机动多目标跟踪方法， 其特征在于， 所述步骤23中预设核自适应滤波器的步长参数μ、 核函数的参数、 训练的 batchsize、 迭代次数和收敛 条件； 根据每一步迭代 的误差e来更新核自适应滤波器的权重矢量Ω， 不断更新调整非线性 映射映射f( ·)， 非线性映射 将输入X(t)映射到特征空间结果为 则第t次迭代 的误差e(t)与权 重更新结果Ω(t)分别为： e(t)＝x(t) ‑f(X(t))           (4) 当核自适应滤波器满足预设的收敛条件时， 保存当前模型参数， 得到训练好的核自适 应滤波器。 6.根据权利要求1所述的基于核自适应滤波与YOLOX检测结合的机动多目标跟踪方法， 其特征在于， 所述 步骤3的具体实现过程： 步骤31： 前k帧中已经完成跟踪目标的目标状态信 息作为核自适应滤波器输入， 并预测权　利　要　求　书 2/5 页 3 CN 114972418 A 3