(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221045289 2.3 (22)申请日 2022.04.27 (71)申请人 迈容智能科技 （上海） 有限公司 地址 200433 上海市杨 浦区邯郸路10号8号 楼309室 (72)发明人 吴昆　丁国栋　 (74)专利代理 机构 上海诺衣知识产权代理事务 所(普通合伙) 31298 专利代理师 刘艳芝 (51)Int.Cl. G06F 40/211(2020.01) G06F 40/289(2020.01) G06F 40/30(2020.01) G06F 16/35(2019.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 依存分析模型及基于依存分析的中文联合 事件抽取方法 (57)摘要 本发明公开了一种基于依存分析的中文联 合事件抽取方法， 首先引入了依存分析构建句法 结构加强了信息的深度交互； 其次为弥合字词的 不一致性设计了三种类型的边表示 以计算图卷 积特征； 最终通过对事件触发词分类任务以及事 件论元分类任务联合学习， 缓解了传统管道式方 法的级联误差传播问题， 提升了从文档中抽取事 件触发词以及论元的效果。 基于依存分析的中文 联合事件抽取模 型， 在对语义进行编码的同时融 入了句法结构信息， 增强了字之间的信息流动， 并且针对中文分词的特性为构建无向图设计了 不同类型的边表示。 本发明通过融入中文文本中 包含的句法结构知识丰富了语义特征表示， 并且 使用联合学习的方法有效的提高了句子级事件 抽取的效果。 权利要求书2页 说明书8页 附图2页 CN 114841140 A 2022.08.02 CN 114841140 A 1.一种基于文本表征的依存分析模型构建方法， 其特征在于： 首先， 将文本进行分词， 并且使用依存句法分析得到词与词之间的主从关系， 建立词 与词之间的依存关系； 其次， 构 建三种类型 的边， 并对应三种类型 的边分别生成三个二维邻接矩阵构建图表示， 使用无向 图表示该依存关系； 然后， 将初始文本表征输入图卷积神经网络， 使用无向图聚合邻居节 点 信息， 将卷积神经网络的输出与初始文本表征进 行融合； 最后， 将融合后得到的分类向量作 为该模型的输出。 2.根据权利要求1所述的基于文本表征的依存分析模型构建方法， 其特征在于： 使用无 向图表示依存关系的具体过程如下： 将词之间的依存关系简化为词首字间的依存关系， 构建三种类型的边表示， 分别为 ealong， eloop， erev； 依照预先建立的依存关系为三种边构建二维邻接矩阵， 将依存关系抽象为 无向图表示； 所述邻接矩阵均以单字为节点， 若两个节点之间存在关系， 则将邻接矩阵对应 位置的值置为1， 反 之置为0。 3.根据权利要求2所述的基于文本表征的依存分析模型构建方法， 其特征在于： 所述融 合获取分类向量的具体过程如下： 将获取的词嵌入文本表征， 作为图卷积神经网络的初始输入， 结合无向图对邻居节点 信息进行聚合， 计算图卷积向量； 将三种边类型的图卷积向量进 行拼接， 并使用激活函数更 新第k+1层的节点向量， 将最后一层图卷积网络的输出和词嵌入文本表征结合， 获取最 终的 分类向量， 其中， k表示图卷积的层数。 4.根据权利要求3所述的基于文本表征的依存分析模型构建方法， 其特征在于： 根据如 下公式计算图卷积向量 其中， v表示当前更新节点， K(v,u)指示当前边的类型， 对应于ealong， eloop， erev三种， N (v,K(v,u))是当前节点在当前边的邻居节点集合， 即二维邻接矩阵中值为1的部分， 和 是节点和边类型约束的权 重矩阵和偏移量 参数。 5.根据权利要求1所述的基于文本表征的依存分析模型构建方法， 其特征在于： 所述依 存句法分析中， 使用官方工具包Stanford  CoreNLP进行中文文本依存关系分析， 首先将中 文文本进 行分词， 经过依存分析得到以词为单位的支配词 与从属词之 间的中文句法依存关 系。 6.一种基于依存分析的中文联合事 件抽取方法， 其特 征在于： 包括如下步骤： 步骤1、 预处理包含事件类型以及描述该事件的输入文本， 使用预训练语言模型对数据 集中的文本进行编码， 得到模型的初始文本表征； 步骤2、 将原始输入文本进行分词， 并将分词结果和步骤1得到的文本表征输入权利要 求1至5中任一项所述依存分析模型， 获取融合分类向量； 步骤3、 将步骤2中得到的分类向量输入事件触发词分类器， 使用0/1标注格式对每个事 件类型的候选触发词的首尾索引进行预测， 计算当前字是触发词开始和结束的分类概率向 量pts/te； 步骤4、 将步骤2得到的分类向量输入事件论元分类器， 使用0/1标注格式对每个角色类权　利　要　求　书 1/2 页 2 CN 114841140 A 2型的候选论元的首尾索引进行预测， 计算当前字是该论元开始和结束字的分类概率向量 pas/ae； 步骤5、 使用步骤3得到的向量pts/te和步骤4得到的向量pas/ae分别进行触发词和论元的 抽取， 通过参数共享和联合学习进行训练， 经 过迭代得到最优 模型。 7.根据权利要求6所述的基于依存分析的中文联合事件抽取方法， 其特征在于： 所述步 骤1的具体过程如下： 划分训练集和测试集， 将文档中的长文档分隔为固定长度为200个字的句子集合， 其中 一个句子对应数据集中的一条样本， 使用预训练语言模型BERT进 行词嵌入表 示得到初始文 本表征h。 8.根据权利要求6所述的基于依存分析的中文联合事件抽取方法， 其特征在于： 所述步 骤3的具体过程如下： 将步骤2所得融合分类向量输入事件触发词分类器， 使用独立前馈神经网络为每一个 事件类型计算当前字是触发词开始和结束的分类概 率： pts/te(i)＝W1ts/te(tanh(W2ts/te·gi+b2ts/te))+b1ts/te 其中ts指示触发词开始索引， te指示触发词结束索引。 W1ts， b1ts， W1te， b1te， W2ts， b2ts， W2te， b2te均为可学习参数矩阵。 9.根据权利要求6所述的基于依存分析的中文联合事件抽取方法， 其特征在于： 所述步 骤4的具体过程如下： 将步骤2所得的融合分类向量输入事件论元分类器， 使用前馈神经网络为每一个论元 角色计算当前字是 该论元开始和结束字的分类概 率： pas/ae(i)＝W1as/ae(tanh(W2as/ae·gi+b2as/ae))+b1as/ae 其中as指 示论元开始索引， ae指 示论元结束索引。 W1as， b1as， W1ae， b1ae， W2as， b2as， W2ae， b2ae 均为可学习参数矩阵。 10.根据权利要求6所述的基于多层级注意力机制的事件论元抽取方法， 其特征在于： 所述步骤5的具体过程如下： 将步骤3得到的向量pts/te和步骤4得到的向量pas/ae使用多个二分类器进行分类， 使用 argmax函数得到预测的0/1标签， 指示当前字是否为特定事件触发词或者论元角色 的实体 开头或者结尾， 同时抽取 出事件触发词以及事 件涉及论元： yts/te＝argmax(pts/te) yas/ae＝argmax(pas/ae)。权　利　要　求　书 2/2 页 3 CN 114841140 A 3