(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210506694.0 (22)申请日 2022.05.07 (71)申请人 南昌航空大 学 地址 330063 江西省南昌市丰和南大道696 号 (72)发明人 陈震　邓可郁　张聪炫　葛利跃　 李凌　胡卫明　李兵　 (74)专利代理 机构 南昌市平凡知识产权代理事 务所 36122 专利代理师 张文杰 (51)Int.Cl. G06V 20/40(2022.01) G06V 10/40(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) (54)发明名称 基于时空交互注意力机制的行人多目标跟 踪计算方法 (57)摘要 一种基于时空交互注意力机制的行人多目 标跟踪计算方法， 输入图像序列中连续的两帧图 像， 将图像序列中的第一帧图像输入到多层融合 特征提取网络， 获得融合特征图， 对提取到的第 一帧的特征图同时输入检测分支和Re ‑ID分支， 分别用于检测对象和提取Re ‑ID特征， 获得并保 存第一帧的初始轨迹和第二帧的预测轨迹位置， 获得第二帧的检测框和Re ‑ID特征， 使用卡尔曼 滤波将第二帧的预测轨迹位置与第二帧的检测 框进行数据关联， 从而获得最后的跟踪结果。 利 用不同通道之间有效信息的交互融合,对高层特 征进行优化增强,得到更加鲁棒的全局特征， 显 著提高遮挡和强光照区域行人多目标跟踪的准 确性和鲁棒 性。 权利要求书2页 说明书5页 附图4页 CN 114998780 A 2022.09.02 CN 114998780 A 1.基于时空 交互注意力机制的行 人多目标跟踪计算方法， 其 步骤如下： 1)输入图像序列中连续的两帧图像； 2)将图像序列中的第一帧图像输入到多层融合特 征提取网络， 获得融合特 征图； 3)对提取到的第一帧的特征图同时输入检测分支和Re ‑ID分支， 分别用于检测对象和 提取Re‑ID特征； 4)在检测分支， 输入的特征图 分别通过3 ×3卷积与1 ×1卷积层生成热图、 物 体中心偏移量和边界盒的大小： 热图负责估计物体中心的位置， 尺寸 为 物体中心偏移量目的是 更精确地定位对象， 尺寸 为 边界盒的大小负责估计 每个位置的目标盒子的高度和宽度， 尺寸 为 上述中， C为特 征图的通道数， H,W分别为特 征图的高和宽； 5)在Re‑ID分支， 将第一帧的特征图作 为时空交互注意力机制的输入， 依次经过通道交 互注意力机制与空间注意力； 6)将 输入到通道交互注意力机制中， 利用不同通道之间有效信息的交 互融合捕获更有效的Re ‑ID特征， 计算方法如下： 式(1)中， 将 先通过全局平均池化AvgPool获得聚合特征 其次利用 组卷积dk×k的方式确定交互的覆盖范围， 从而得到通道权重， 然后使用 σ 激活函数Sigmoid约 束权重值到(0,1)之间， 最后 表示元素级乘法。 其中组卷积k的大小与通道C关系如下： C＝φ(k)                 (2) 式(2)根据类比的原理， 一维卷积大小k与通道数C存在正比的关系， 因此在k和C之间可 能存在一种映射φ。 由于通道数C通常被设置为2的幂， φ(k)又 可变换为： C＝φ(k)＝2(γ*k‑b)                        (3) 式(3)中使用最简单的线性映射 φ(k)＝γ*k ‑b， γ和b为自定义常数。 因此根据 通道数 C可计算出自适应一维卷积大小： 式(4)中|t|odd表示为最接近t的奇数。 随后经过映射ψ后， 高维通道具有更长范围的交 互作用， 而低维通道通过使用非线性映射进行 更短范围的交 互作用。 7)经过通道交互注 意力机制获得的特征图 输入到空间注 意力机制中， 以获得图像不同空间位置中的信息 部分， 计算方法如下： 式中AvgPool( ·)和MaxPool( ·)分别表示平均池化和最大池化操作， 使用两个池化操 作来聚合一个特征映射的信道信息， 生成两个二维映射 和 f7×7表权　利　要　求　书 1/2 页 2 CN 114998780 A 2示卷积核为7 ×7的卷积操作， σ 为激活函数Sigmo id， 表示元素级乘法； 8)对时空交互注意力机制的输出 使用1×1卷积得到行人重识别特征 从而提取每 个以(x,y)为中心点的对象的128维特 征； 9)将步骤4得到的检测框与 步骤8得到的Re ‑ID特征使用卡尔曼滤波进行数据关联和预 测， 获得并保存第一帧的初始轨 迹和第二帧的预测轨 迹位置； 10)第二帧图像输入多层融合特征提取网络， 重复步骤3)～8)， 获得第二帧的检测框和 Re‑ID特征， 使用卡尔曼 滤波将第二帧的预测轨 迹位置与第二帧的检测框进行 数据关联； 11)利用匈 牙利算法匹配关联 结果， 从而获得最后的跟踪结果。权　利　要　求　书 2/2 页 3 CN 114998780 A 3