(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210398886.4 (22)申请日 2022.04.15 (71)申请人 北京化工大 学 地址 100029 北京市朝阳区北三环东路15 号 (72)发明人 王坤峰　温浩　吕茂斌　 (74)专利代理 机构 北京市恒有知识产权代理事 务所(普通 合伙) 11576 专利代理师 郭文浩　尹文会 (51)Int.Cl. G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06N 20/00(2019.01) G16H 50/20(2018.01)G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) (54)发明名称 基于多模态数据融合的阴虚证智能诊断系 统、 方法、 设备 (57)摘要 本发明属于机器学习技术领域， 具体涉及一 种基于多模态数据融合的阴虚 证智能诊断系统、 方法、 设备， 旨在解决现有技术对阴虚证的多模 态数据的分类准确性较差的问题。 本发明系统包 括： 数据采集模块， 配置为获取阴虚证待诊断病 例的多模态数据； 数据处理模块， 配置为将多模 态数据中的文本数据进行向量转化； 初始结果获 取模块， 配置为按照预设的分类模型对应关系， 确定所述图像数据、 向量转化后的文本数据对应 的分类模型， 并输入对应的分类模型， 得到初始 分类结果； 加权融合模块， 配置为根据各分类模 型对应的分类正确率权重值， 对初始分类结果进 行加权求和， 得到最终的分类结果。 本发明提升 了阴虚证的多 模态数据的分类准确性。 权利要求书2页 说明书10页 附图6页 CN 114897057 A 2022.08.12 CN 114897057 A 1.一种基于多模态数据融合的阴虚证智能诊断系统， 其特征在于， 该系统包括数据采 集模块、 数据处 理模块、 初始结果获取模块、 加权融合模块； 所述数据采集模块， 配置为获取阴虚证待诊断病例的多模态数据； 所述多模态数据包 括图像数据、 文本数据； 所述图像数据包括 目诊图像、 舌诊图像； 所述文本数据包括生理生 化指标相关的文本数据； 所述数据处 理模块， 配置为将所述文本数据进行向量 转化； 所述初始结果获取模块， 配置为基于所述图像数据、 向量转化后的文本数据， 按照预设 的分类模型对应关系， 确定所述图像数据、 向量 转化后的文本数据对应的分类模型； 将所述图像数据、 向量 转化后的文本数据， 输入 对应的分类模型， 得到初始分类结果； 所述加权融合模块， 配置为根据各分类模型对应的分类正确率权重值， 对所述初始分 类结果进行加权求和， 得到最终的分类结果； 其中， 所述分类模型对应关系， 为预设的多模态数据中的各模态数据与处理该模态数 据的分类模型的映射关系。 2.根据权利要求1所述的基于多模态数据融合的阴虚证智能诊断系统， 其特征在于， 所 述分类模 型包括卷积神经网络模 型、 机器学习模型； 对于所述图像数据， 通过卷积神经网络 模型进行 特征提取与分类； 对于所述文本数据， 通过机器学习模型进行分类。 3.根据权利要求2所述的基于多模态数据融合的阴虚证智能诊断系统， 其特征在于， 所 述分类模型， 其训练方法为： 步骤A100， 获取多模态数据的训练集； 所述训练集包括多模态数据及其对应的阴虚证 分类结果的真值标签； 步骤A200， 对所述训练集中的文本数据进行向量 转化； 步骤A300， 基于所述图像数据、 向量转化后的文本数据， 按照预设的分类模型对应关 系， 确定所述图像数据、 向量转化后的文本数据对应的分类模型； 将所述图像数据、 向量转 化后的文本数据， 输入 对应的分类模型， 得到初始分类结果， 作为预测结果； 步骤A400， 根据所述预测结果、 所述阴虚证分类结果的真值标签， 计算各模态数据对应 的分类模型的损失值， 更新模型参数； 步骤A500， 循环执 行步骤A10 0‑A400， 直至得到训练好的各模态数据对应的分类模型。 4.根据权利要求3所述的基于多模态数据融合的阴虚证智能诊断系统， 其特征在于， 步 骤A300还包括： 当诊断模型的输入为同一模态数据的多 张图像数据时， 通过预设的投票计算方法获取 各分类结果的比例， 并将最大比例对应的分类结果， 作为初始分类结果。 5.根据权利要求4所述的基于多模态数据融合的阴虚证智能诊断系统， 其特征在于， 通 过预设的投票计算方法获取 各分类结果的比例， 其方法为： 其中， counti表示分类 结果中属于第i种分类 结果的个 数， m表示类别个 数， Vote(i)表示 第i种分类结果所占的比例。 6.根据权利要求3所述的基于多模态数据融合的阴虚证智能诊断系统， 其特征在于， 所权　利　要　求　书 1/2 页 2 CN 114897057 A 2述分类正确率权 重值， 其计算方法为： 获取多模态数据中的各模态数据对应的分类模型在训练结束后的分类正确率； 根据 所 述分类正确 率， 通过预设的权重计算方法获取各模态数据对应的分类模型 的权重， 即分类 正确率权 重值； 通过预设的权 重计算方法获取 各模态数据对应的分类模型的权 重， 其计算方法： errori＝1‑ci 其中， ci表示第i个模型分支的分类准确 率， errori表示第i个模型分支的分类错误率， Weighti表示第i个模型分支的权 重， n表示模型分支的个数。 7.一种基于多模态数据融合的阴虚证智能诊断方法， 其特征在于， 该方法包括以下步 骤： 步骤S100， 获取阴虚证待诊断病例的多模态数据； 所述多模态数据包括图像数据、 文本 数据； 所述图像数据包括目诊图像、 舌诊图像； 所述文本数据包括生理生化指标相关的文本 数据； 步骤S200， 将所述文本数据进行向量 转化； 步骤S300， 基于所述图像数据、 向量转化后的文本数据， 按照预设的分类模型对应关 系， 确定所述图像数据、 向量 转化后的文本数据对应的分类模型； 将所述图像数据、 向量 转化后的文本数据， 输入 对应的分类模型， 得到初始分类结果； 步骤S400， 根据各分类模型对应的分类正确率权重值， 对所述初始分类结果进行加权 求和， 得到最终的分类结果； 其中， 所述分类模型对应关系， 为预设的多模态数据中的各模态数据与处理该模态数 据的分类模型的映射关系。 8.一种计算机设备， 其特征在于， 包括： 至少一个处理器以及与至少一个所述处理器通 讯连接的存储器； 其中， 所述存储器存储有 可被所述处理器执行的指 令， 所述指 令用于被所 述处理器执行以实现权利要求7 所述的基于多模态数据融合的阴虚证智能诊断方法。 9.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质存储有计算机指 令， 所述计算机指令用于被所述计算机执行以实现权利要求7所述的基于多模态数据融合 的阴虚证智能诊断方法。权　利　要　求　书 2/2 页 3 CN 114897057 A 3