(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210471183.X (22)申请日 2022.04.28 (71)申请人 国家计算机网络与信息安全管理中 心 地址 100029 北京市朝阳区裕民路甲3号 申请人 北京中科闻歌科技股份有限公司 (72)发明人 陈志鹏　张旭　朱晓航　刘宏宇　 马先钦　姜文华　曹家　罗引　 王磊　 (74)专利代理 机构 北京开阳星知识产权代理有 限公司 1 1710 专利代理师 张子青 (51)Int.Cl. G06F 16/432(2019.01) G06F 16/435(2019.01)G06F 16/483(2019.01) G06F 40/279(2020.01) G06F 40/30(2020.01) G06V 40/16(2022.01) G06V 20/40(2022.01) G06V 20/62(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06N 7/00(2006.01) G10L 15/22(2006.01) (54)发明名称 多媒体信息话题分析方法、 装置、 设备及存 储介质 (57)摘要 本公开涉及一种多媒体信息话题分析方法、 装置、 设备及计算机可读存储介质， 本公开通过 音频数据得到语音识别文本、 通过视频数据的关 键帧得到字幕文本； 针对上述语音识别文本及字 幕文本从实体、 关键词、 语义标签三方面提取话 题信息， 实现了基于文本数据的全方面、 多粒度 的文本话题提取； 针对视频数据的关键帧， 从人 脸标签及图片标签两方面提取话题信息， 实现了 基于图像数据的视觉话题提取； 本公开实施例充 分考虑了视频数据的多模态特征， 全面的分析视 频话题， 提高了话题分析的准确性； 进一步的， 通 过准确的话题分析， 可以使受众快速有效的获取 视频的主要信息， 提升了工作效率， 并可 以广泛 应用于视频个性 化推荐、 视频内容检索等场景。 权利要求书2页 说明书11页 附图4页 CN 114880496 A 2022.08.09 CN 114880496 A 1.一种多媒体信息话题分析 方法， 其特 征在于， 所述方法包括： 提取多媒体信息中的音频 数据和视频 数据； 从所述音频 数据提取语音信息， 得到语音识别文本； 从所述视频 数据的关键帧中提取字幕信息， 得到 字幕文本； 从所述语音识别文本和所述字幕文本 中提取实体和关键词， 以及确定所述语音识别文 本和所述字幕文本的语义标签； 提取所述关键帧中的人脸标签、 以及确定所述关键帧的图片标签； 根据所述实体、 所述关键词、 所述语义标签、 所述人脸标签和所述图片标签， 确定所述 多媒体信息的目标话题。 2.根据权利要求1所述的方法， 其特征在于， 根据所述实体、 所述关键词、 所述语义标 签、 所述人脸标签和所述图片标签， 确定所述多媒体信息的目标话题， 包括： 将所述实体、 所述关键词和所述语义标签进行合并， 得到合并后的文本话题信息； 将所述人脸标签和所述图片标签进行合并， 得到合并后的视觉话题信息； 根据所述合 并后的文本话题信息和所述合并后的视觉话题信息， 确定所述多媒体信息中出现的多个话 题； 根据所述多个话题中每 个话题的出处， 确定每 个话题的权 重值； 根据每个话题 的权重值， 确定所述多媒体信息的目标话题， 所述目标话题是权重值满 足预设条件的话题。 3.根据权利要求2所述的方法， 其特征在于， 根据所述多个话题中每个话题的出处， 确 定每个话题的权 重值， 包括： 若所述话题出现在文本数据中， 则确定所述话题的权重值为第一权重值， 所述文本数 据包括所述语音识别文本和/或所述字幕文本； 若所述话题出现在图像数据中， 则确定所述话题的权重值为第二权重值， 所述图像数 据包括所述关键帧； 若所述话题同时出现在所述文本数据和所述图像数据， 则确定所述话题的权重值为第 三权重值， 所述第三权 重值是所述第一权 重值和所述第二权 重值的和值。 4.根据权利要求2所述的方法， 其特征在于， 将所述人脸标签和所述图片标签进行合 并， 得到合并后的视 觉话题信息， 包括： 将所述人脸标签与 所述关键帧的图片标签分别去重后进行合并， 得到合并后的视觉话 题信息。 5.根据权利要求1所述的方法， 其特征在于， 所述从所述音频数据提取语音信息， 得到 语音识别文本， 包括： 从所述音频数据中提取出语音信 息中的第 一文本信 息， 对所述第 一文本信 息进行纠错 处理； 基于纠错处 理后的第一文本信息得到所述语音识别文本 。 6.根据权利要求1所述的方法， 其特征在于， 所述从所述视频数据的关键帧中提取字幕 信息， 得到 字幕文本， 包括： 从所述视频 数据的关键帧中提取第二文本信息， 对所述第二文本信息进行纠错处 理； 基于纠错处 理后的第二文本信息得到所述字幕文本 。权　利　要　求　书 1/2 页 2 CN 114880496 A 27.根据权利要求1所述的方法， 其特征在于， 所述从所述语音识别文本和所述字幕文本 中提取实体和关键词， 以及确定所述语音识别文本和所述字幕文本的语义标签， 包括： 利用深度学习模型提取 所述语音识别文本及所述字幕文本中的实体； 利用关键词提取模型提取 所述语音识别文本及所述字幕文本中的关键词； 利用多分类模型和多标签分类模型确定所述语音识别文本及字幕文本中的语义标签。 8.一种多媒体信息话题分析装置， 其特 征在于， 所述装置包括： 第一提取模块， 用于提取多媒体信息中的音频 数据和视频 数据； 第二提取模块， 用于从所述音频 数据提取语音信息， 得到语音识别文本； 第三提取模块， 用于从所述视频 数据的关键帧中提取字幕信息， 得到 字幕文本； 第四提取模块， 用于从所述语音识别文本和所述字幕文本中提取实体和关键词； 第一确定模块， 用于确定所述语音识别文本和所述字幕文本的语义标签； 第五提取模块， 用于提取 所述关键帧中的人脸标签； 第二确定模块， 用于确定所述关键帧的图片标签； 第三确定模块， 用于根据所述实体、 所述关键词、 所述语义标签、 所述人脸标签和所述 图片标签， 确定所述多媒体信息的目标话题。 9.一种电子设备， 其特 征在于， 包括 存储器； 处理器； 以及 计算机程序； 其中， 所述计算机程序存储在所述存储器中， 并被配置为由所述处理器执行以实现如 权利要求1 ‑7中任一项所述的方法。 10.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述计算机程序 被处理器执行时实现如权利要求1 ‑7任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 114880496 A 3