(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210317228.8 (22)申请日 2022.03.29 (71)申请人 北京道达天际科技有限公司 地址 100085 北京市海淀区马连洼北路8号 C座7层70 3室 (72)发明人 刘禹汐　姜青涛　侯立旺　王慧静　 (74)专利代理 机构 北京华专卓 海知识产权代理 事务所(普通 合伙) 11664 代理人 王一　张继鑫 (51)Int.Cl. G06K 9/62(2022.01) G06F 16/35(2019.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06V 10/764(2022.01)G06N 3/04(2006.01) (54)发明名称 基于多模态融合的天基情报分类方法、 装置 及电子设备 (57)摘要 本公开的实施例提供了一种基于多模态融 合的天基情报分类方法、 装置及电子设备。 所述 方法包括： 分别获取待分类天基情报的文本情报 特征和图片情报特征； 根据文本情报特征和图片 情报特征提取对应的文本特征向量与图片特征 向量； 对文本特征向量与图片特征向量进行计 算， 将具有相关性的文本特征向量与图片特征向 量进行联合拼接， 得到待分类天基情报的融合特 征； 将所述融合特征输入至预设的分类模型进行 分类。 以此方式， 可以能合理的处理多模态信息， 得到丰富特征信息， 并根据特征之间的交互进行 合理分类， 提高情报分类效率， 便于后续的情报 快速查找等工作。 权利要求书1页 说明书8页 附图4页 CN 114418038 A 2022.04.29 CN 114418038 A 1.一种基于多模态融合的天基情 报分类方法， 其特 征在于， 包括： 分别获取待分类天基情 报的文本情 报特征和图片情 报特征； 根据文本情 报特征和图片情 报特征提取对应的文本特 征向量与图片特 征向量； 对文本特征向量与图片特征向量进行计算， 将具有相关性的文本特征向量与图片特征 向量进行 联合拼接， 得到待分类天基情 报的融合特 征； 将所述融合特 征输入至预设的分类模型进行分类。 2.如权利要求1所述的基于多模态融合的天基情报分类方法， 其特征在于， 根据文本情 报特征提取对应的文本特 征向量包括： 获取待分类天基情报中的文本， 对所述文本进行向量化表示， 将向量化文本输入预先 训练的文本情 报特征提取模型， 得到对应的文本特 征向量。 3.如权利要求2所述的基于多模态融合的天基情报分类方法， 其特征在于， 根据图片情 报特征提取对应的图片特 征向量包括： 获取待分类天基情报中的图片， 将所述图片输入预先训练的图片情报特征提取模型， 得到对应的图片特 征向量。 4.如权利要求3所述的基于多模态融合的天基情 报分类方法， 其特 征在于， 所述预先训练的文本情 报特征提取模型为Bi ‑GRU模型； 所述预先训练的图片情报特征提取模型为VGG ‑16模型， 包括13层卷积层、 5层池化层以 及2层全连接层。 5.如权利要求1所述的基于多模态融合的天基情报分类方法， 其特征在于， 所述对文本 特征向量与图片特征向量进行计算， 将具有相关性的文本特征向量与图片特征向量进 行联 合拼接， 得到待分类天基情 报的融合特 征包括： 根据皮尔逊相关系数对所述文本情报特征与所述图片情报特征进行相似度计算； 若相 似度达到阈值， 则进行 联合拼接； 若相似度未达 到阈值， 则不进行 联合拼接。 6.如权利要求1所述的基于多模态融合的天基情报分类方法， 其特征在于， 所述分类模 型为MLP模型； 所述MLP模型包括 一个隐藏层， 所述隐藏层使用dropout算法； 所述MLP模型的输出层包括softmax分类器， 所述softmax分类器采用多分类交叉熵损 失函数进行分类。 7.一种基于多模态融合的天基情 报分类装置， 其特 征在于， 获取模块， 用于分别获取待分类天基情 报的文本情 报特征和图片情 报特征； 特征提取模块， 用于根据文本情报特征和图片情报特征提取对应的文本特征向量与图 片特征向量； 第一次融合模块， 用于对文本特征向量与图片特征向量进行计算， 将具有相关性的文 本特征向量与图片特 征向量进行 联合拼接， 得到待分类天基情 报的融合特 征； 第二次融合模块， 用于将所述融合特 征输入至预设的分类模型进行分类。 8.一种电子设备， 包括： 至少一个处理器； 以及与 所述至少一个处理器通信连接的存储 器； 其中， 所述存储器存储有 可被所述至少一个处理器执行的指令， 所述指 令被所述至少一 个处理器执行， 以使所述至少一个处 理器能够执 行权利要求1 ‑6中任一项所述的方法。权　利　要　求　书 1/1 页 2 CN 114418038 A 2基于多模 态融合的天基 情报分类方 法、 装置及电子 设备 技术领域 [0001]本公开涉及数据分类技 术领域， 尤其涉及情 报分类技 术领域。 背景技术 [0002]目前， 互联网上航天开源多模态数据的爆炸式增长和可访问性为我们提供了广阔 的机会， 可以从多个方面融合异构情报的内在知识， 这对传统的情报文本分类技术提出了 挑战。 而对于天基开源情报的分类问题的研究， 现有的技术方案和研究大都基于文本， 利用 自然处理技术来对情报分类。 [0003]现有天基开源情报分类技术基于文本这一单模态， 没有融合开源情报中的图片多 源信息， 单源信息可信度不高， 而且天基情报内容较长且含有 大量专有名词， 影响了情报分 类的效果。 发明内容 [0004]本公开提供了一种基于多模态融合的天基情 报分类方法、 装置及电子设备。 [0005]根据本公开的第一方面， 提供了一种基于多模态融合的天基情报分类方法。 该方 法包括： 分别获取待分类天基情 报的文本情 报特征和图片情 报特征； 根据文本情 报特征和图片情 报特征提取对应的文本特 征向量与图片特 征向量； 对文本特征向量与图片特征向量进行计算， 将具有相关性的文本特征向量与图片 特征向量进行 联合拼接， 得到待分类天基情 报的融合特 征； 将所述融合特 征输入至预设的分类模型进行分类。 [0006]在第一方面的一些可实现方式中， 根据文本情报特征提取对应的文本特征向量包 括： 获取待分类天基情报中的文本， 对所述文本进行向量化表示， 将向量化文本输入 预先训练的文本情 报特征提取模型， 得到对应的文本特 征向量。 [0007]在第一方面的一些可实现方式中， 根据图片情报特征提取对应的图片特征向量包 括： 获取待分类天基情报中的图片， 将所述图片输入预先训练的图片情报特征提取模 型， 得到对应的图片特 征向量。 [0008]在第一方面的一些可实现方式中， 所述预先训练的文本情报特征提取模型为Bi ‑ GRU模型； 所述预先训练的图片情报特征提取模型为VGG ‑16模型， 包括13层卷积层、 5层池化 层以及2层全连接层。 [0009]在第一方面的一些可实现方式中， 所述对文本特征向量与图片特征向量进行计 算， 将具有相关性的文本特征向量与图片特征向量进行联合拼接， 得到待分类天基情报的 融合特征包括：说　明　书 1/8 页 3 CN 114418038 A 3