(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210325754.9 (22)申请日 2022.03.29 (71)申请人 清华大学 地址 100084 北京市海淀区双清路3 0号清 华大学清华园北京 100084-82信箱 (72)发明人 刘知远　叶奕宁　岂凡超　孙茂松　 (74)专利代理 机构 北京路浩知识产权代理有限 公司 11002 专利代理师 吴勇涛 (51)Int.Cl. G06F 40/126(2020.01) G06F 40/289(2020.01) G06F 40/30(2020.01) G06N 3/08(2006.01) (54)发明名称 一种词汇 义原层次结构的预测方法、 系统及 电子设备 (57)摘要 本发明提供一种词汇义原层次结构的预测 方法、 系统及电子设备， 包括： 获取原始数据， 利 用预训练的编码模型对原始数据中的词汇进行 编码， 以得到对应的文本语义向量矩阵； 利于改 进的解码模型对所述文本语义向量矩 阵进行预 设顺序的义原树解码， 以得到所述文本语义向量 矩阵中各文本语义对应的义原树。 本发明解决了 现有技术中难以同时预测词汇义原和其对应义 原树结构的问题， 以实现高效而低成本地构建义 原知识库。 权利要求书2页 说明书9页 附图4页 CN 114841123 A 2022.08.02 CN 114841123 A 1.一种词汇义原层次结构的预测方法， 其特 征在于， 包括： 获取原始数据； 利用预训练的编码模型对所述原始数据中的词汇进行编码， 以得到对应的文本语义向 量矩阵； 利用改进的解码模型对所述文本语义向量矩阵进行预设顺序的义原树解码， 以得到所 述文本语义向量矩阵中各文本语义对应的义原树。 2.根据权利要求1所述的一种词汇义原层次结构的预测方法， 其特征在于， 所述编码模 型为BERT模 型， 利用BERT模 型对数据中的词汇进行编码， 以得到对应的文本语义向量矩阵， 具体包括： 利用预训练的BERT ‑base权重， 在对BERT模型训练过程 中进行参数调整， 以得到训练后 的BERT模型； 利用训练后的BERT模型对词汇进行编码， 得到词汇对应的语义信息， 以生成文本语义 向量矩阵。 3.根据权利要求2所述的一种词 汇义原层次结构的预测方法， 其特征在于， 在对BERT模 型训练过程中进行参数调整， 具体包括： 计算BERT模型语义表达与实际需要的语义表达之间的量 化差值； 通过反向传播方法对BERT模型中的每一个参数的值计算 导数进行 数据回溯； 根据BERT模型语义表达与实际需要的语义表达之间的量化差值调整数据回溯的强度， 改变BERT模型参数的变化速率， 完成参数调整。 4.根据权利要求2所述的一种词汇义原层次结构的预测方法， 其特征在于， 所述利用训 练后的BERT模型对词汇进行编码， 具体包括： 将原始数据中每 个句子中的每一个词汇编码成为词向量； 将词向量与单词位置对应的位置向量进行拼接； 将词向量与位置向量拼接后进行线性变换和非线性激活函数变换， 将句子编码成一个 词向量组。 5.根据权利要求1所述的一种词汇义原层次结构的预测方法， 其特征在于， 对所述文本 语义向量矩阵进行义原树解码， 通过顺序解码得到对应的义原树， 实现对义原层次结构的 预测， 具体包括： 定义BACK标识， 解码过程中除BACK标识外均为普通标识， 通过BACK标识对预测过程进 行回退， BACK标识与普通标识形成形状无限制的义原树， 将义原树与标识序列建立一一对 应的关系； 利用改进的注意力计算机制， 引入新型相对位置编码和义原向量编码， 生成 Transformer义原树 解码器； 通过Transformer义原树解码器进行解码生成标识序列， 根据义原树与标识序列建立 一一对应的关系生成义原树。 6.根据权利要求5所述的一种词汇义原层次结构的预测方法， 其特征在于， 所述定义 BACK标识， 通过BACK标识对预测过程进行回退， BACK标识与普通标识形成形状无限制的义 原树， 将义原树与标识序列建立 一一对应的关系的过程 为： 利用解码模型输出了普通标识， 则代 表按照先序遍历的顺序生成了一个特定的义原；权　利　要　求　书 1/2 页 2 CN 114841123 A 2利用解码模型输出了BACK标识， 则代表目前遍历的状态需要回退到当前节点的父节 点， 生成过程在最终回退到树的根节点时结束； 通过连续不断地生成普通标识和BACK 标识， 得到 了一颗形状无限制的义原树； 将得到的形状无限制的义原树与BACK标识和普通标识组成的标识序列建立一一对应 的关系。 7.一种词汇义原层次结构的预测系统， 其特 征在于， 所述系统包括： 原始数据编码模块， 用于对原始数据中的词汇定义进行编码， 得到对应文本语义向量 矩阵； 义原树解码模块， 利用改进的解码模型对所述文本语义向量矩阵进行预设顺序的义原 树解码， 以得到所述文本语义向量矩阵中各文本语义对应的义原树。 8.一种电子设备， 包括存储器、 处理器及存储在所述存储器上并可在所述处理器上运 行的计算机程序， 其特征在于， 所述处理器执行所述程序时实现如权利要求1至6任一项所 述一种词汇义原层次结构的预测方法。 9.一种非暂态计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述计算机 程序被处 理器执行时实现如权利要求1至 6任一项所述 一种词汇义原层次结构的预测方法。 10.一种计算机程序产品， 包括计算机程序， 其特征在于， 所述计算机程序被处理器执 行时实现如权利要求1至 6任一项所述 一种词汇义原层次结构的预测方法。权　利　要　求　书 2/2 页 3 CN 114841123 A 3