(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210291318.4 (22)申请日 2022.03.23 (71)申请人 北京快确信息科技有限公司 地址 100000 北京市西城区阜成门外大街 31号4层411D (72)发明人 甘伟超　林远平　邹鸿岳　周靖宇　 (74)专利代理 机构 广东良马律师事务所 4 4395 专利代理师 李良 (51)Int.Cl. G06F 40/211(2020.01) G06F 40/30(2020.01) G06F 16/35(2019.01) G06Q 40/04(2012.01) (54)发明名称 基于句法依存的交易信息识别方法、 装置、 系统及介质 (57)摘要 本发明公开了基于句法依存的交易信息识 别方法、 装置、 系统及介质， 通过获取待识别文 本； 对待识别文本分别进行编码和句法解析处 理， 得到对应的序列文本编码以及待识别文本中 各个词节 点之间的句法依存关系； 将句法依存关 系转换为对应的节点关系图并进行特征提取， 得 到句法依存关系的图注意力特征； 对序列文本编 码和图注 意力特征进行特征融合， 得到各个词节 点的融合特征向量； 对融合特征向量进行特征多 分类， 输出每个词节点的交易要素类别。 通过充 分利用词与词之间的句法依存关系， 并进一步构 建相应的关系图来实现关系特征的提取， 能更加 准确地结合词语的文本特征和关系特征进行分 类判断， 有效提高了现券交易中信息分类识别的 准确率。 权利要求书3页 说明书9页 附图3页 CN 114742034 A 2022.07.12 CN 114742034 A 1.一种基于句法依存的交易信息识别方法， 其特 征在于， 包括： 获取待识别文本； 对所述待识别文本分别进行编码和句法解析处理， 得到对应的序列文本编码以及所述 待识别文本中各个词节点之间的句法依存关系； 将所述句法依存关系转换为对应的节点关系图并进行特征提取， 得到所述句法依存关 系的图注意力特 征； 对所述序列文本编码和所述图注意力特征进行特征融合， 得到各个词节点的融合特征 向量； 对所述融合特 征向量进行 特征多分类， 输出每 个词节点的交易要素类别。 2.根据权利要求1所述的基于句法依存的交易信 息识别方法， 其特征在于， 所述对所述 待识别文本 分别进行编 码和句法解析 处理， 得到对应的序列文本编 码以及所述待识别文本 中各个词节点之间的句法依存关系， 包括： 通过预训练模型对所述待识别文本进行词嵌入和位置嵌入， 并对所述词嵌入和位置嵌 入进行多头注意力编码后得到对应的序列文本编码； 通过预设NLP库对所述待识别文本进行句法解析， 得到所述待识别文本中各个词节点 之间的句法依存关系。 3.根据权利要求2所述的基于句法依存的交易信 息识别方法， 其特征在于， 所述通过预 训练模型对所述待识别文本进 行词嵌入和位置嵌入， 并对所述词嵌入和位置嵌入进行多头 注意力编码后得到对应的序列文本编码， 包括： 将所述待识别文本输入至预训练模型， 所述预训练模型为预先以词为单位进行语义学 习的模型； 通过所述预训练模型对所述待识别文本 中的每个词进行词嵌入， 并对每个词所在的位 置进行位置嵌入； 将词嵌入与位置嵌入结果相加后输入至多头注意力表示层进行多头注意力编码， 得到 对应的序列文本编码 其中， 表示向量空间， n表 示向量空间的维度， L表示序列文本的长度， Ei表示第i层预训练编码层， MH表示多头注意力 操作， 表示第i层预训练编码层的输出。 4.根据权利要求3所述的基于句法依存的交易信 息识别方法， 其特征在于， 所述通过预 设NLP库对所述待识别文本进行句法解析， 得到所述待识别文本中各个词节点之间的句法 依存关系， 包括： 通过预设NLP库对所述待识别文本进行句法解析， 得到每个词节点的词性信息以及各 个词节点之间的依存信息； 根据所述各个词节点之间的依存信 息构建相应的邻 接矩阵， 所述邻 接矩阵表示各个词 节点之间的句法依存关系。 5.根据权利要求4所述的基于句法依存的交易信 息识别方法， 其特征在于， 所述将所述 句法依存关系转换为对应的节点关系图并进 行特征提取， 得到所述句法依存关系的图注意 力特征， 包括：权　利　要　求　书 1/3 页 2 CN 114742034 A 2根据所述邻 接矩阵构造对应的节点关系图， 并对所述节点关系图进行词汇嵌入和词性 嵌入后， 得到节点向量图； 通过图注意力网络对所述节点向量图进行依存关系特征提取后， 得到所述句法依存关 系的图注意力特 征。 6.根据权利要求5所述的基于句法依存的交易信 息识别方法， 其特征在于， 所述通过图 注意力网络对所述节 点向量图进 行依存关系特征提取后， 得到所述句法依存关系的图注意 力特征， 具体包括： 通过公式 对所述节点 向量图进行依存关系特征提 取， 得到第i层的图注意力特征， 其中， 图注意力网络第0层的图注意力特征表示为H0＝Eword+ Etag， Eword为词汇嵌入， Etag为词性嵌入， 为词节点i第l +1层的输出特征， 表示词节 点i第l层的输入特征， ||表示向量的拼接操作， σ 表示激活函数； Aij≠0表示词节点i和词节 点j有句法依存关系， 表示第k个注意力机制下词节点i， j之间的注意力权重， 表示第k个注意力机制下的线性变换矩阵， 为F×F的矩阵空 间， F为空 间的维度， K为图 注意力网络中注意力机制的数目， 图注意力网络最后一层的输出 特征为HG。 7.根据权利要求6所述的基于句法依存的交易信 息识别方法， 其特征在于， 所述对所述 序列文本编码和所述图注意力特 征进行特征融合， 得到各个词节点的融合特 征向量， 包括： 通过公式At＝softmax(HBW(HG)T)对所述序列文本编码和 所述图注意力特征进行双线 性注意力系数计算， 得到双 线性注意力矩阵 其中每i行表示第i个词节 点与其他 各个词节点的注意力系数； HB为所述预训练模块最后一层输出的序列文本编码， HG为所述图 注意力网络最后一层输出的图注意力特征， (HG)T表示对HG的转置， 为映射矩阵， 表示向量空间， n表示向量空间的维度， L表示序列文本的长度； 根据所述双线性注意力系数按公式H＝HB+At×HG对所述序列 文本编码和所述图注意力 特征进行特征融合， 得到各个词节点的融合特 征向量。 8.一种基于句法依存的交易信息识别装置， 其特 征在于， 包括： 获取模块， 用于获取待识别文本； 编码解析模块， 用于对所述待识别文本分别进行编码和句法解析处理， 得到对应的序 列文本编码以及所述待识别文本中各个词节点之间的句法依存关系； 图特征提取模块， 用于将所述句法依存关系转换为对应的节点关系图并进行特征提 取， 得到所述句法依存关系的图注意力特 征； 融合模块， 用于对所述序列文本编码和所述图注意力特征进行特征融合， 得到各个词 节点的融合特 征向量； 分类识别模块， 用于对所述融合特征向量进行特征多分类， 输出每个词节点的交易要 素类别。 9.一种基于句法依存的交易信息识别系统， 其特征在于， 所述系统包括至少一个处理 器； 以及， 与所述至少一个处 理器通信连接的存 储器； 其中，权　利　要　求　书 2/3 页 3 CN 114742034 A 3