(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210313329.8 (22)申请日 2022.03.28 (71)申请人 苏州金御博信息科技有限公司 地址 215222 江苏省苏州市吴江区七都镇 吴溇港西侧 (72)发明人 李博扬　 (74)专利代理 机构 盐城海纳川知识产权代理事 务所(普通 合伙) 32503 专利代理师 丁绘燕 (51)Int.Cl. G06K 9/62(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种多模态数据特 征融合方法 (57)摘要 本发明属于计算机信息技术技术领域， 尤其 是一种多模态数据特征融合方法， 包括以下步 骤： S1： 基于卷积神经网络对结构化数据以及流 数据的特征提取； S2： 基于增强处理后的多模态 图像数据和预先构建的深度神经网络提取出像 素级的RGB图像和深度图像； S3： 描 述各项数据与 服务及其关联关系， 以便多模式数据的统一。 本 发明提出的多模态数据特征融合方法对于海量 数据有较强的学习能力， 多模态特征提取部分和 多模态融合部分可以进行端到端的训练， 能够学 习其他方法难以处理的复杂决策边界， 解决了传 统方法训练依赖大量数据、 无法自动处理缺失数 据以及训练难度很大、 很难收敛的问题， 整个多 模态数据特 征融合方法运行起 来更加高效。 权利要求书1页 说明书3页 CN 114638314 A 2022.06.17 CN 114638314 A 1.一种多模态数据特 征融合方法， 其特 征在于， 包括以下步骤： S1： 基于卷积神经网络对结构化数据以及流数据的特征提取， 将多种流数据的数值转 换为波形图绘制在一张图片上用于后续的特征提取任务， 将结构化数据转为编 码矩阵形式 进行特征提取， 构建特 征融合神经网络模型， 实现结构化数据与流数据的特 征融合； S2： 基于增强处理后的多模态图像数据和预先构建的深度神经网络提取出像素级的 RGB图像和深度图像， 并将同模态图像中的像素级的RGB图像和深度图像进 行像素级 特征融 合得到融合后的层级特 征； S3： 描述各项数据与服务及其关联关系， 以便多模式数据的统一， 并将其进行元数据处 理， 实现数据本体的建模及元 数据的存 储， 构成数据之间的协同特 征； S4： 通过使用虚拟标签技术进行数据实体间的互联， 并设计基础融合模型和数据互联 模型两种模态； S5： 利用元数据模型将上述的多模态数据特征进行最终的特征融合处理， 元数据模型 主要分为元数据管理和元数据采集两个重要部 分， 且在该阶段中融合方式分为早期融合和 晚期融合。 2.根据权利要求1所述的一种 多模态数据 特征融合方法， 其特征在于， 所述S1中构建特 征融合神经网络模型， 实现结构化数据与流数据的特 征融合， 主 要包括两个阶段。 3.根据权利要求2所述的一种 多模态数据特征融合方法， 其特征在于， 两个所述阶段包 括： 第一， 训练两个卷积神经网络模 型， 用于提取特征映射， 模型1用于提取波 形图中的特征 映射， 模型2用于提取矩阵中的特征映射中构建特征融合神经网络模型进行特征融合； 第 二， 通过将图片与文本信息数据分别输入到两个模 型中， 将输出的特征映射， 进 行组合构成 新的特征映射集合， 作为训练所述特 征融合神经网络模型的输入数据。 4.根据权利要求1所述的一种 多模态数据 特征融合方法， 其特征在于， 所述S3 中数据之 间的协同特征表示是为每个模态学习单独的特征提取模型， 通过一个约束来协同不同的模 态， 更适合于在测试时只有一种模态数据的任务。 5.根据权利要求1所述的一种 多模态数据 特征融合方法， 其特征在于， 所述S4中基础融 合模型为互联模型服务， 通过对 数据信息、 元数据以及数据互联方法进 行描述， 最 终构建数 据互联模型。 6.根据权利要求1所述的一种 多模态数据 特征融合方法， 其特征在于， 所述S5元数据 管 理主要是在收集元数据和提供元数据的时候便于进行 统一的规范协作， 因此需要规范数据 的保存方式， 其主 要包括元 数据的采集方法、 采集范围、 采集工具和采集市场。 7.根据权利要求1所述的一种 多模态数据 特征融合方法， 其特征在于， 所述S5元数据采 集是在获取元数据时， 为了能够使不同类型 的服务数据能够通过元数据描述进行融合， 因 此需要在采集时规定元 数据的格式。权　利　要　求　书 1/1 页 2 CN 114638314 A 2一种多模 态数据特征融合 方法 技术领域 [0001]本发明涉及计算机信息技 术技术领域， 尤其涉及一种多模态数据特 征融合方法。 背景技术 [0002]当下大数据时代， 数据呈现巨量化、 多样化的特点， 如何有效存储和处理这些数 据， 使数据价值最大化的同时又满足合规性的要求， 是构建多模态机器智能的核心诉求。 传 统的人工智能应用， 大多数都是基于单模态数据开发， 这些应用都是在各自模态数据的基 础上对世界产生一定的 “感知”， 具有明显的局限性， 机器若能对世界多个模态的 “感知”进 行同步和聚合， 那将更加的智能化。 为了实现机器能智能化处理多模态数据， 除了应对日益 增长的海量数据和做好每个模态的感知之外， 更要做好数据在模态间的转化、 多模态数据 条件下的数据同步和知识的融合。 [0003]然而目前的多模态数据特征融合方法主要存在以下问题： 1、 不同模态的信息在时 间上可能不是完全对齐的， 同一时刻 有的模态信号密集， 有的模态信号稀疏； 2、 融合模型很 难利用模态之间的互补性； 3、 训练依赖大量数据、 无法自动处理缺失数据以及训练难度很 大， 很难收敛。 因此， 本发明基于上述 不足提出了一种多模态数据特 征融合方法。 发明内容 [0004]本发明的目的是为了解决现有技术中存在的缺点， 而提出的一种多模态数据特征 融合方法。 [0005]为了实现上述目的， 本发明采用了如下技 术方案： [0006]一种多模态数据特 征融合方法， 包括以下步骤： [0007]S1： 基于卷积神经网络对结构化数据以及流数据的特征提取， 将多种流数据的数 值转换为波形图绘制在一张图片上用于后续的特征提取任务， 将结构化数据转为编 码矩阵 形式进行 特征提取， 构建特 征融合神经网络模型， 实现结构化数据与流数据的特 征融合； [0008]S2： 基于增强处理后的多模态图像数据和预先构建的深度神经网络提取出像素级 的RGB图像和深度图像， 并将同模态图像中的像素级的RGB图像和深度图像进 行像素级 特征 融合得到融合后的层级特 征； [0009]S3： 描述各项数据与服务及其关联关系， 以便多模式数据的统一， 并将其进行元数 据处理， 实现数据本体的建模及元 数据的存 储， 构成数据之间的协同特 征； [0010]S4： 通过使用虚拟标签技术进行数据实体间的互联， 并设计基础融合模型和数据 互联模型两种模态； [0011]S5： 利用元数据模型将上述的多模态数据特征进行最终的特征融合处理， 元数据 模型主要分为元数据管理和元数据采集两个重要部 分， 且在该阶段中融合方式分为早期融 合和晚期融合。 [0012]优选地， 所述S1中构建特征融合神经网络模型， 实现结构化数据与流数据的特征 融合， 主要包括两个阶段。说　明　书 1/3 页 3 CN 114638314 A 3