(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210438864.6 (22)申请日 2022.04.25 (71)申请人 国网江苏省电力有限公司电力科 学 研究院 地址 210000 江苏省南京市江宁区帕威尔 路1号 申请人 国网江苏省电力有限公司 　 江苏省电力试验研究院有限公司 (72)发明人 姚楠　刘子全　王真　秦剑华　 朱雪琼　薛海　高超　吴奇伟　 胡成博　 (74)专利代理 机构 南京纵横知识产权代理有限 公司 32224 专利代理师 张倩倩(51)Int.Cl. G06V 20/40(2022.01) G06K 9/62(2022.01) G06V 10/774(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01) (54)发明名称 一种基于交叉注意机制动态知识传播的危 险车辆识别方法 (57)摘要 本发明公开一种危险车辆识别方法、 装置及 存储介质， 方法包括： 获取待识别危险车辆的图 像帧， 输入预先训练的危险车辆识别模型； 根据 危险车辆识别模型的输出确定图像中是否存在 做出危险动作的危险车辆， 若存在则输出危险车 辆信息； 其中， 危险车辆识别模型包括教师网络 和学生网络， 教师网络包括第一特征提取网络和 第一时间特征融合网络， 学生网络包括第二特征 提取网络、 第二时间特征融合网络、 动态知识传 播网络和预测网络； 动态知识传播网络采用交叉 注意机制进行特征交叉融合， 再通过残差连接将 学生网络得到的特征与交叉参与特征相结合， 进 而对图像帧集中车辆动作的危险性进行分类。 本 发明可实现对危险车辆的识别， 能够提高识别结 果的准确性。 权利要求书3页 说明书9页 附图1页 CN 114882397 A 2022.08.09 CN 114882397 A 1.一种危险车辆识别方法， 其特 征是， 包括： 获取待识别危险车辆的图像帧； 将获取到的图像帧输入预 先训练的危险车辆识别模型； 根据所述危险车辆识别模型的输出确定图像中是否存在做出危险动作的危险车辆， 若 存在则输出危险车辆信息； 其中， 所述危险车辆识别模型包括教师网络和学生网络， 教师网络包括第一特征提取 网络和第一时间特征融合网络， 学生网络包括第二特征提取网络、 第二时间特征融合网络、 动态知识传播网络和预测网络； 所述第一特征提取网络和第二特征提取网络分别用于对输入的图像帧集进行帧级特 征提取， 得到帧级特 征序列； 所述第一/第二时间特征融合网络用于， 采用自我注意机制对第一/第 二特征提取网络 输出的帧级特 征序列进行时间相邻图像特 征的融合， 得到时间融合特 征； 所述动态知识传播网络用于， 对第 一时间特征融合网络和第 二时间特征融合网络得到 的时间融合特征， 采用交叉注 意机制进 行特征交叉融合， 得到交叉参与特征， 通过残差连接 将第一时间特征融合网络输出的时间融合特征与所述交叉参与特征相结合， 得到结合特征 序列； 所述预测网络用于根据 所述结合特征序列对图像帧集中车辆动作的危险性进行分类， 输出危险车辆信息 。 2.根据权利要求1所述的方法， 其特征是， 所述第 一特征提取网络的网络深度 大于第二 特征提取网络的网络深度。 3.根据权利要求1所述的方法， 其特 征是， 所述危险车辆识别模型的训练包括： 对包含车辆动作的交通事故监控视频进行帧采样， 得到样本图像帧集； 获取对样本图像帧集中图像帧的标注信息； 将所述样本图像帧集和所述标注信息 输入学生网络和教师网络进行训练。 4.根据权利要求1所述的方法， 其特征是， 在训练过程中， 对应学生网络的图像帧采样 间隔等于对应教师网络的图像 帧采样间隔； 在模型测试时， 对应学生网络的图像 帧采样间 隔大于对应教师网络的图像帧采样间隔。 5.根据权利要求1所述的方法， 其特征是， 定义第 一特征提取网络和第 二特征提取网络 得到的帧级特征序列分别为 和 所述第一/第二时间 特征融合网络采用自我注意机制对帧级特征序列进行时间相 邻图像特征的融合， 得到时间 融合特征序列 和 所述动态知识传播网络对第一时间特征融合网络和第二时间特征融合网络得到的时 间融合特 征， 采用交叉注意机制进行 特征交叉融合， 得到交叉参与特 征， 包括： 将序列 和 分别线性投影为查询向量序列 和键值对 其中查询向 量qi表示查询目标危险车辆， 键值对中ki为查询向量序列的索引， 用来计算注意力分布， vi 为序列的值， 用来基于注意力分布计算聚合后的信息；权　利　要　求　书 1/3 页 2 CN 114882397 A 2生成的交叉参与特 征 的计算公式为： 其中， N为键的维数， T为N的平方根， 为缩放查询向量和 键值的点积， 注意力权 重为 由查询和键之间缩放的点积相似性决定， 低质量特征被高质量特 征的加权和取代。 6.根据权利要求5所述的方法， 其特征是， 所述通过残差连接将第 一时间特征融合网络 输出的时间融合特 征与所述交叉参与特 征相结合， 得到结合特 征序列， 公式为： 为结合特 征序列 中的元素。 7.根据权利要求1所述的方法， 其特征是， 所述预测网络根据结合特征序列对图像帧集 中车辆动作的危险性进行分类， 输出危险车辆信息， 包括： 根据结合特征计算图像帧中的车辆动作的类预测分数 表示第i帧中车辆动作属于 第j个动作类的置信度； 选出置信度 最大的k帧图像， 其中 γ为超参数； 根据所述k帧图像中的车辆动作属于各动作类的置信度 计算每一种动 作类在k帧图像中的平均置信度sj： 选择最大平均置信度 对应的动作类， 作为图像中车辆动作的最终分类， 根据相应分类 的危险性确定待检测图像帧集中车辆动作是否为 危险动作， 输出相应的分类结果信息 。 8.一种危险车辆识别装置， 其特 征是， 包括： 图像采样模块， 被 配置用于获取待识别危险车辆的图像帧； 动作分类模块， 被 配置用于将获取到的图像帧输入预 先训练的危险车辆识别模型； 识别结果输出模块， 被配置用于根据 所述危险车辆识别模型的输出确定图像中是否存 在做出危险动作的危险车辆， 若存在则输出危险车辆信息； 其中， 所述危险车辆识别模型包括教师网络和学生网络， 教师网络包括第一特征提取 网络和第一时间特征融合网络， 学生网络包括第二特征提取网络、 第二时间特征融合网络、 动态知识传播网络和预测网络； 所述第一特征提取网络和第二特征提取网络分别用于对输入的图像帧集进行帧级特 征提取， 得到帧级特 征序列； 所述第一/第二时间特征融合网络用于， 采用自我注意机制对第一/第 二特征提取网络权　利　要　求　书 2/3 页 3 CN 114882397 A 3