(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210085708.6 (22)申请日 2022.01.25 (71)申请人 中国电子科技 集团公司电子科 学研 究院 地址 100041 北京市石景山区双园路1 1号 (72)发明人 李阳阳　金昊　刘弋锋　林晖　 黎宏河　胡校成　高阳阳　 (74)专利代理 机构 工业和信息化部电子专利中 心 11010 专利代理师 焉明涛 (51)Int.Cl. G06K 9/62(2022.01) G06F 16/906(2019.01) G06F 40/30(2020.01) G06N 3/04(2006.01)G06Q 50/00(2012.01) (54)发明名称 一种多模态事件检测方法及装置 (57)摘要 本发明公开了一种多模态事件检测方法及 装置， 包括： 基于社交平台的发布事件， 提取所述 发布事件的关联信息， 其中所述 关联信息包括文 本数据和图像数据； 提取所述文本数据的文本特 征以及提取所述图像数据的视觉特征； 初始化所 述视觉特征和所述文本特征之间的相关性分数； 基于所述初始化后的相关性分数， 过滤掉所述图 像数据中部分无关的图像区域， 以确定所述图像 数据中的相关目标区域； 融合所述文本特征和所 述图像数据中的相关区域的视觉特征， 以获得多 模态特征； 基于所述多模态特征通过预设分类器 进行分类， 以实现事件检测。 本发明实施例提出 一种更符合 真实场景使用的事件检测方法， 实现 单文本与多张图片的场景 下进行事 件检测。 权利要求书2页 说明书7页 附图1页 CN 114444593 A 2022.05.06 CN 114444593 A 1.一种多模态事 件检测方法， 其特 征在于， 包括： 基于社交平台的发布事件， 提取所述发布事件的关联信息， 其中所述关联信息包括文 本数据和图像数据； 提取所述文本数据的文本特 征以及提取 所述图像数据的视 觉特征； 初始化所述视 觉特征和所述文本特 征之间的相关性分数； 基于初始化后的相关性分数， 过滤掉所述图像数据中部分无关的图像区域， 以确定所 述图像数据中的相关目标区域， 并通过正则化更新所述视觉特征和所述文本特征之 间的相 关性分数； 基于更新后的相关性分数， 融合所述文本特征和所述图像数据中的相关区域的视觉特 征， 以获得多模态特 征； 基于所述多模态特 征通过预设分类器进行分类， 以实现事 件检测。 2.如权利要求1所述的多模态事件检测方法， 其特征在于， 提取所述文本数据的文本特 征以及提取 所述图像数据的视 觉特征包括： 对于所述文本数据， 采用双向门控循环单元(Bi ‑GRU)提取所述文本数据中各个词的语 义信息； 对于所述图像数据， 采用Faster  R‑CNN提取图片中各目标区域的视 觉特征。 3.如权利要求2所述的多模态事件检测方法， 其特征在于， 采用双向门控循环单元(Bi ‑ GRU)提取 所述文本数据中各个词的语义信息包括： 从该词的不同方向提取输出序列； 采用平均池化 合并不同方向提取的输出序列， 以获得 各个词的语义信息 。 4.如权利要求2所述的多模态事件检测方法， 其特征在于， 初始化所述视觉特征和所述 文本特征之间的相关性分数包括： 设定所述文本数据中的每一个词与 各目标区域均相关， 初始化各词与 各目标区域的相 关性分数满足： Q＝WQH C＝WCO R＝softmax(QTC) 其中， R表示由初始化的相关性分数构成的相关性矩阵， WC、 WQ表示映射矩阵， Q和C分别 表示映 射到同一特征空间的 文本特征和视觉特征 ， H表示整个句子的特征 ， O表示视觉特征总集。 5.如权利要求4所述的多模态事件检测方法， 其特征在于， 基于所述初始化相关性分 数， 过滤掉所述图像数据中至少 部分无关的图像区域， 以确定所述图像数据中的相关目标 区域包括： 基于所述相关性矩阵， 利用预设相关性阈值过 滤无关区域满足： 权　利　要　求　书 1/2 页 2 CN 114444593 A 2其中， 表示第i个词与第j个目标区域的初始化的相关性分数， 表示第i个词与第 j个目标区域是否相关， 1表示相关， 0表示不相关， 0≤j≤K ×N； K表示图像数据中一张图像 的目标区域的数量， N表示图像数据中图像的数量。 6.如权利要求5所述的多模态事件检测方法， 其特征在于， 确定所述图像数据中的相关 区域之后， 所述多模态事 件检测方法还 包括： 利用相关目标区域的相关性分数进行正则化， 满足： 其中， 表示正则化后的相关性分数； 基于该词的各相关目标区域正则化后的相关性分数更新该词的相关性分数， 以及更新 相关性矩阵。 7.如权利要求6所述的多模态事件检测方法， 其特征在于， 基于更新后的相关性分数， 融合所述文本特 征和所述图像数据中的相关区域的视 觉特征， 以获得多模态特 征包括： 以该相关性分数作为该相关目标区域的权重， 与 所述文本数据对应的文本特征进行融 合， 满足： 其中， Q和C分别表示映射到同一特征空间的文本特征和视觉特 征， 表示更新后的相关 性矩阵， 表示融合后的多模态特 征。 8.如权利要求7所述的多模态事件检测方法， 其特征在于， 基于所述多模态特征通过预 设分类器进行分类包括： 采用平均池化 提取融合后的多模态特 征； 将提取的多模态特 征输入预设 分类器进行分类。 9.一种多模态事 件检测装置， 其特 征在于， 包括处 理器， 其配置为： 基于社交平台的发布事件， 提取所述发布事件的关联信息， 其中所述关联信息包括文 本数据和图像数据； 提取所述文本数据的文本特 征以及提取 所述图像数据的视 觉特征； 初始化所述视 觉特征和所述文本特 征之间的相关性分数； 基于初始化后的相关性分数， 过滤掉所述图像数据中部分无关的图像区域， 以确定所 述图像数据中的相关目标区域， 并通过正则化更新所述视觉特征和所述文本特征之 间的相 关性分数； 基于更新后的相关性分数， 融合所述文本特征和所述图像数据中的相关区域的视觉特 征， 以获得多模态特 征； 基于所述多模态特 征通过预设分类器进行分类， 以实现事 件检测。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质上存储有计算机 程序， 所述计算机程序被处理器执行时实现如权利要求 1至8中任一项 所述的多模态事件检 测方法的步骤。权　利　要　求　书 2/2 页 3 CN 114444593 A 3