(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221045714 4.4 (22)申请日 2022.04.28 (71)申请人 南京理工大 学 地址 210094 江苏省南京市玄武区孝陵卫 街200号 (72)发明人 戚湧　曾鑫　庄员　 (74)专利代理 机构 南京知识律师事务所 32 207 专利代理师 熊敏敏 (51)Int.Cl. G06V 20/40(2022.01) G06V 10/26(2022.01) G06V 10/75(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种交通异常行为检测方法与系统 (57)摘要 本发明属于智能视频分析技术领域， 公开了 一种交通异常行为检测方法与系统。 本发明的方 法包括； 通过背景建模将交通监控视频异常静止 的目标车辆保留在背景中； 进行异常目标检测， 裁剪出异常目标车辆的裁剪图片和视频片段； 进 行异常开始时间估计， 将裁剪图片与裁剪视频片 段输入孪生互相关与 P3D‑Attention结合网络模 型， 给裁剪视频片段打上分类标签， 并确定发生 异常行为时的视频帧； 确定该待匹配的车辆是否 为异常目标车辆， 结合发生异常行为时的视频 帧， 确定交通异常行为开始时间和结束时间。 采 用本发明能够提高对交通异常静止车辆状态检 测的速度与性能， 解决交通异常时间检测问题， 从而准确估计异常行为 开始时间。 权利要求书3页 说明书12页 附图3页 CN 114821421 A 2022.07.29 CN 114821421 A 1.一种交通异常行为检测方法， 其特 征在于， 包括； 通过背景建模， 将交通监控视频每一帧中正常移动的车辆从框架中移除， 使得异常静 止的目标 车辆保留在背景中； 对通过背景建模提取的每一帧背景进行透视图裁剪， 根据 车辆大小获得用于对所述交 通监控视频进行裁剪的裁剪框； 每隔第一帧数对所述交通监控视频进行一次异常目标检 测， 检测所述交通监控视频的视频帧中的异常目标车辆； 在检测到异常目标车辆后， 裁剪出 异常目标车辆的裁剪图片， 将所述交通监控视频以异常目标车辆的位置为中心， 向前或向 后裁剪出空间容量为若干倍车辆大小、 时间为第二帧数 的裁剪视频片段， 用于之后进行异 常时间估计； 根据异常目标车辆检测结果进行异常开始时间估计， 包括异常车辆状态检测和 异常目 标匹配； 所述异常车辆状态检测， 将所述异常目标车辆的裁剪图片与 所述裁剪视频片段输入孪 生互相关与P3D ‑Attention结合网络模型， 检测所述裁剪视频片段中的异常目标是静止状 态还是行驶状态， 根据异常车辆状态检测结果分别给所述裁剪视频片段打上分类标签， 分 别标记为异常、 行驶或正常， 并确定异常目标 车辆发生异常行为时的视频帧； 所述异常目标匹配， 将待匹配的车辆图片与异常目标车辆的裁剪图输入所述孪生互相 关与P3D‑Attention结合网络， 确定该待匹配的车辆是否为异常目标车辆， 结合异常目标车 辆检测结果中所确定的异常目标车辆发生异常行为时的视频帧， 确定交通异常行为开始时 间和结束时间。 2.根据权利要求1所述的交通异常行为检测方法， 其特征在于， 所述背景建采用MOG2算 法。 3.根据权利要求1所述的交通异常行为检测方法， 其特征在于， 所述异常目标检测采用 YOLOv3目标检测方法。 4.根据权利要求1所述的交通异常行为检测方法， 其特征在于， 所述异常车辆状态检测 的输入， 一是异常目标车辆的裁剪图片， 二是以异常目标车辆为中心裁剪出的空间容量为2 倍车辆大小、 时间为设定的第二帧数的视频片段； 所述异常车辆状态检测包括： 通过P3D ‑Attention模块分别提取输入的异常目标车辆 的裁剪图片的特征图、 输入的视频片段每一帧的特征图， 并通过P3D ‑Attention提高重要通 道特征的相关度； 接着将分别提取的特征图选择在三个不同感受野大小的层通过孪生互相 关操作进行融合； 前两个孪生互相关操作结果使用mult iply方法将 输入图片和输入视频经 过孪生互相关操作后提取的特征图与互相关之前经过P 3D‑Attention模块提取出的输入的 视频片段每一帧的特征图融合； 使用GAP进 行池化； 最后通过softmax层， 直接将 输入的异常 目标车辆的裁剪图片和输入的视频片段进 行分类， 根据异常车辆状态检测结果分别给输入 的视频片段打上分类标签， 分别标记 为异常、 行驶或正常， 并确定发生异常时间点所在的视 频帧。 5.根据权利要求4所述的交通异常行为检测方法， 其特征在于， 所述异常目标车辆匹配 的输入， 一是异常目标 车辆的裁 剪图片， 二是用于异常目标匹配模型的正负类图片； 所述异常目标车辆匹配包括： 通过P3D ‑Attention模块分别提取两个输入图片的特征 图， 并且使用提取 的两个输入的特征图进行孪生互相关操作； 将分别提取 的特征图选择在权　利　要　求　书 1/3 页 2 CN 114821421 A 2三个不同感受野大小的层通过孪生互相关操作进行融合； 获得三个不同大小的特征图， 并 进行concatenate合并操作； 最后通过softmax层， 直接将输入的异常 目标车辆的裁剪图片 和用于异常目标匹配模型正负类图片进行分类， 分类结果 为匹配或不匹配。 6.根据权利要求4所述的交通异常行为检测方法， 其特征在于， 所述P3D ‑Attention模 块由1×3×3卷积核和3 ×1×1卷积核分别在 空间域和时间域上模拟3 ×3×3卷积， 在时间 和空间上将3 ×3×3卷积进行解耦；  P3D‑Attention模块还包括提高重要特征的相关度的 双通道注意力模块和空间注意力模块。 7.根据权利要求6所述的交通异常行为检测方法， 其特征在于， 所述双通道注意力模块 通过空间域上的1 ×3×3卷积核和时间域上3 ×1×1卷积核结合成3 ×3×3卷积， 学习帧注 意 力 模 块 的 权 重 来 表 达 对帧 的 关 注 ， 学 习通 道 注 意 力 模 块 的权重来表达对通道的关注； 其中F代表特征图 的帧数， C代表特征图的通道数， H代 表特征图的高， W代 表特征图的宽 。 8.根据权利要求7所述的交通异常行为检测方法， 其特征在于， 所述空间注意力模块通 过一个2D卷积核学习单通道的特征图权重矩阵 中的位置信息， 来确定视 频特征图每一个位置的重要性和相关度； 其中F代表特征图 的帧数， C代表 特征图的通道数， H代 表特征图的高， W代 表特征图的宽 。 9.一种交通异常行为检测系统， 实现根据权利要求1至8任一所述的交通异常行为检测 方法， 其特 征在于， 包括： 视频采集剪切模块， 采集交通实时视频流， 用于提供连续的交通视频流信息， 显示在显 示模块上， 并作为输入信息传输 到背景建模 模块； 所述背景建模模块， 预留接口， 通过输入格式正确的视频流数据， 通过背景建模， 将交 通监控视频每一帧中正常移动的车辆从框架中移除， 使得异常静止的目标车辆保留在背 景 中； 异常目标检测模块， 对通过背景建模提取的每一帧背景进行透视 图裁剪， 根据车辆大 小获得用于对所述交通监控视频进行裁剪的裁剪框； 每隔第一帧数对所述交通监控视频进 行一次异常目标检测， 检测所述交通监控视频的视频帧中的异常目标车辆； 在检测到异常 目标车辆后， 裁剪出异常目标车辆的裁剪图片， 将所述交通监控视频以异常目标车辆的位 置为中心， 向前或向后裁剪出空间容量为若干倍车辆大小、 时间为第二帧数 的裁剪视频片 段， 用于之后进行异常时间估计； 异常时间估计模块， 包括异常车辆状态检测和异常目标匹配； 所述异常车辆状态检测， 将所述异常目标车辆的裁剪图片与所述裁剪视频片段输入孪生互相关与P3D ‑Attention结 合网络模型， 检测所述裁剪视频片段中的异常目标是静止状态还是行驶状态， 根据异常车 辆状态检测结果分别给所述裁剪视频片段打上分类标签， 分别标记 为异常、 行驶或正常， 并 确定异常目标车辆发生异常行为时的视频帧； 所述异常目标匹配， 将待匹配的车辆图片与 异常目标车辆的裁剪图输入所述孪生互相关与P3D ‑Attention结合网络， 确定该待匹配的 车辆是否为异常目标车辆， 结合异常目标车辆检测结果中所确定的异常目标车辆发生异常权　利　要　求　书 2/3 页 3 CN 114821421 A 3