(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210411306.0 (22)申请日 2022.04.19 (71)申请人 东南大学 地址 210096 江苏省南京市玄武区四牌楼 2 号 (72)发明人 何铁军　李晓港　 (74)专利代理 机构 南京经纬专利商标代理有限 公司 32200 专利代理师 田凌涛 (51)Int.Cl. H04N 19/625(2014.01) H04N 19/149(2014.01) G06V 20/40(2022.01) G06V 10/25(2022.01) G06V 10/762(2022.01)G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) (54)发明名称 一种基于压缩视频DCT系数的车辆 检测方法 (57)摘要 本发明公开了一种基于压缩视频DCT系数的 车辆检测方法， 包括步骤： 对压缩码流视频进行 提取， 并得到所述压缩码流视频对应的第一DCT 系数； 基于 所述第一DCT系数进行预处理， 并得到 第二DCT系数； 构造 车辆检测模型； 基于开源图像 数据集UA ‑DETRAC获取图像样本集， 再使用所述 图像样本集对所述车辆检测模型进行训练， 并得 到车辆检测网络； 基于所述压缩码流视频、 所述 第二DCT系数和所述车辆检测网络， 获取车辆检 测结果。 本发 明利用了压缩格式数据无需完全解 码即可获取特征信息的特点， 结合深度学， 降低 了车辆检测模 型的复杂 度， 减少了车辆检测所需 算力， 并满足边 缘计算的要求。 权利要求书2页 说明书6页 附图5页 CN 114866784 A 2022.08.05 CN 114866784 A 1.一种基于 压缩视频DCT系数的车辆检测方法， 其特 征在于， 包括如下步骤： S1： 对压缩码流视频进行提取， 并得到所述压缩码流视频对应的第一DCT系数； S2： 针对所述第一DCT系数进行 预处理， 得到第二DCT系数； S3： 构造车辆检测模型； S4： 基于开源图像数据 集UA‑DETRAC获取图像样本集， 再使用所述图像样本集对所述车 辆检测模型进行训练， 并得到车辆检测网络； S5： 将所述第二DCT系数输入所述车辆检测网络进行检测， 并得到车辆的位置、 种类和 置信度信息， 然后基于所述车辆的位置、 种类和置信度信息在解码后的所述压缩码流视频 帧中绘制车辆的检测框、 种类和置信度， 所述车辆的检测框、 种类和置信度即为车辆的检测 结果。 2.根据权利要求1所述的一种基于压缩视频DCT系数的车辆检测方法， 其特征在于， 所 述压缩码流视频为H.264压缩码流视频。 3.根据权利要求2所述的一种基于压缩视频DCT系数的车辆检测方法， 其特征在于， 所 述步骤S1中， 对所述H.264压缩码流视频进行提取， 得到所述压缩码流视频对应的第一DCT 系数， 具体过程包括如下： 将所述H.264压缩码流视频的大小转换成416x416； 所述H.264压缩码流视频的图像帧包括： I帧、 P帧和B帧； 使用JM解码器获取所述H.264压缩码流视频I帧的4x4块的残差DCT系数和I帧帧内预测 模式下的预测值， 再对 所述I帧帧内预测模式下的预测值进行4x4块的D CT变换， 最后将变换 结果跟所述H.264压缩码流视频I帧的4x4块的残差DCT系数相加， 得到所述I帧的4x4块的 DCT系数； 获取所述H.264压缩码流视频P帧和B帧各自的残差DCT系数和各自参考帧的DCT系数， 再根据所述P帧和B帧各自参考 帧的DCT系数和所述P帧和B帧各自的运动矢量， 获取各自参 考编码块的位置以及各自参考编码块的DCT系数， 基于获取的所述P帧和B帧各自的残差D CT 系数、 各自参考编码块的位置以及各自参考编码块的DCT系数， 得到所述P帧和B帧各自4x4 块的DCT系数； 所述I帧、 P帧和B帧各自4x4 块的DCT系数统称为第一DCT系数； 根据DCT系数的块空间关系将所述4x4块的第一DCT系数转换为8x8块的第一DCT系数， 即得到所述压缩码流视频对应的第一DCT系数。 4.根据权利要求3所述的一种基于压缩视频DCT系数的车辆检测方法， 其特征在于， 所 述步骤S1 中， 基于获取的所述P帧和B帧各自的残差DCT系数、 各自参考编码块的位置以及各 自参考编码块的DCT系数， 得到所述P帧和B帧各自4x4 块的DCT系数的具体过程包括如下： 当所述P帧和B帧各自参考编码块位于参考帧像素4的倍数的整数位置时， 直接将所述P 帧或B帧各自的残差D CT系数与所述P帧和B帧各自参考编码块的DCT系数相加， 获得所述P帧 和B帧各自4x4 块的DCT系数； 当所述P帧和B帧各自参考编码块位于不是参考帧像素4的倍数的整数位置时， 根据与 各自参考编码块相 邻、 位于参考帧像素4的倍数的整数位置的四个块的D CT系数， 获取所述P 帧和B帧各自参考编码块的DCT系数， 再将所述P帧和B帧各自的残差DCT系数与所述P帧和B 帧各自参 考编码块的DCT系数分别相加， 获得 所述P帧和B帧各自4x4 块的DCT系数。权　利　要　求　书 1/2 页 2 CN 114866784 A 25.根据权利要求4所述的一种基于压缩视频DCT系数的车辆检测方法， 其特征在于， 所 述步骤S2中， 针对所述第一DCT系数进行 预处理， 得到第二DCT系数的具体过程包括： 剔除所述第一DCT系数中Cb分量和Cr分量的DCT系数， 保留所述第一DCT系数中Y分量 416x416格式的DCT系数， 并将其转换成52x52x64的格式， 再将转换格式后的所述DCT系数按 照ZigZag进行排序， 最后在排序结果中取 前24个DCT系数， 即为第二DCT系数。 6.根据权利要求5所述的一种基于压缩视频DCT系数的车辆检测方法， 其特征在于， 所 述步骤S3中， 构造车辆检测模型的具体过程包括： 基于DarkNet ‑53模型构建主干特征提取网络， 所述主干特征提取网络结合残差网络， 再通过卷积和残差结构的堆积提取 特征， 并缩小特 征图尺寸； 构建基于特征金字塔的回归检测网络， 并在52x52， 26x26， 13x13三个尺度的特征图上 检测车辆； 确定损失函数， 所述损失函数包括:检测框坐标损失、 置信度损失和分类损失。 7.根据权利要求6所述的一种基于压缩视频DCT系数的车辆检测方法， 其特征在于， 所 述步骤s4中， 所述图像样本集的获取 过程包括： 将所述开源图像数据集UA ‑DETRAC中的图片尺寸统一缩放至416x416大小， 然后基于 Libjpeg库提取压缩格式图像的DCT系数， 接着对所述提取到的DCT系数进行处理并输出其Y 分量的52x52x24大小的DCT系数， 即为图像样本集。 8.根据权利要求7所述的一种基于压缩视频DCT系数的车辆检测方法， 其特征在于， 所 述步骤S4中， 使用所述图像样本集对所述车辆检测模型进行训练的具体过程包括： 初始化所述车辆检测模型的网络 权重， 使用正态分布对网络初始权值进行初始化； 将所述车辆检测模型的初始学习率设为1e ‑4， 并使用Adam算法在后续训练中得到自适 应学习率； 使用K‑means聚类法根据所述图像样本集的标签数据设置锚框 的尺寸， 并借鉴YOLOv3 的思想， 在所述52x52， 26x26， 13x13三个尺度的特 征图上各设置三种尺寸的锚框； 设置所述车辆检测模型的参数值： 检测类别、 batc h size和迭代次数； 使用所述图像样本集对所述车辆检测模型进行训练。权　利　要　求　书 2/2 页 3 CN 114866784 A 3