(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210390696.8 (22)申请日 2022.04.14 (71)申请人 西安邮电大 学 地址 710121 陕西省西安市长安区西长安 街618号 (72)发明人 曹小鹏　尤聪聪　赵维维　 (51)Int.Cl. G06F 16/34(2019.01) G06F 40/30(2020.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06F 17/10(2006.01) (54)发明名称 一种融合语义图的文本摘要生成方法 (57)摘要 本发明提出一种融合语义图的文本摘要生 成方法， 传统单一模型解决文本摘要生成时表现 较差的问题， 本发明的技术方案主要包括以下步 骤： (1)提取文本 上下文特征(2)提取语义图特征 (3)融合文本上下文特征和语义图特征(4)词向 量预测(5)模型训练， 生成文本摘要。 该方法主要 应用于文本摘要生成应用。 权利要求书1页 说明书5页 附图1页 CN 114691859 A 2022.07.01 CN 114691859 A 1.一种融合语义图的文本摘要生成方法， 其特 征在于包括以下步骤： (1)提取文本上下文特征： 利用文本编码器对原始文本进行编码， 提取文本的上下文特 征； (2)提取语义图特征： 利用开放信息提取技术提取原始文本三元组结构， 利用斯坦福自 然语言处理工具对三元组进行指代消 解， 构建原始文本的图结构， 最后利用图注意力网络 提取图结构特 征； (3)融合文本上下文特征和语义图特征： 利用解码器的隐藏状态并结合注意力机制计 算文本上 下文向量以及图结构向量， 然后将两者 拼接得到文本序列向量。 (4)词向量预测： 利用文本序列向量以及指针网络预测下一时刻的词向量； (5)模型训练， 生成文本摘要： 利用损失函数对该模型进行训练， 训练过后生成文本摘 要。权　利　要　求　书 1/1 页 2 CN 114691859 A 2一种融合 语义图的文本摘要生成方 法 技术领域 [0001]本发明属于计算机自然语言处理领域， 具体涉及 一种融合语义图的文本摘要生成 方法。 背景技术 [0002]自动文本摘要属于自然语言处理领域的研究热点， 随着深度神经网络技术的出现 和发展， 特别是基于序列到序列模型在自动文本摘要上 的成功运用， 促进了自动文本摘要 技术的快速发展。 在序列到序列模型中， 编码器和解码器一般是基于循环神经网络 (Recurrent  Neural Network， RNN)以及长短期记忆网络(Long  Short‑Term Memory， LSTM)。 LSTM是对RNN的优化， 通过输入门、 遗忘门、 输出门三个结构来实现对信息的保护和 控制， 改善了长期依赖问题。 虽然LSTM提取到文本上下文 特征， 但是对于原始文本的语句结 构特征并没有提取到， 导 致生成的摘要偏离 输入语句语义， 摘要质量并不理想 。 [0003]Rush等人受神经机器翻译的启发， 首次将Se q2Seq模型运用到生成式摘要任务， 提 出一种基于神经注 意的抽象摘要模 型， 取得了不错的效果。 随后， Chopra等人对其进行了优 化和扩展， 解码器选用RNN， 在Gigaword数据集上取得了很好的效果， 进一步提升了生成式 文本摘要的质量， 但是对于摘要生成过程中出现的未登录词以及重复生成问题， 模型并没 有解决。 基于此， Gu等人将复制机制应用于Seq2Seq中， 提出一种新模型CopyNet， 该模型把 单词生成与复制机制结合， 不仅可以保留文本重要的信息， 而且可以生成新的单词， 很好的 解决了未登录词问题。 同一时期， See等人把覆盖机制应用于摘要生成中， 很好的缓解了重 复生成问题， 取得了 当时最先进的结果。 虽然之前的研究已经取得了不错的效果， 但是并没 有解决Seq2Seq模型曝光偏 差问题。 Paulus等人提出在编码器 ‑解码器模型中加入强化学习 来解决这个问题， 他们采用自批评策略梯度算法训练模型， 有效解决上面的问题， 提高了生 成摘要的可读性。 [0004]Takase等人提出了一种基础注意力机制的摘要生成模型， 利用抽象意义表示引导 摘要生成， 取得了不错的效果， 但是模型并没有同原始文本内容进行结合。 Cao等人提出双 注意力模 型， 把原始文本和从中提取的事实作为条件， 提高了生成摘要的准确性， 但是在常 识性错误上还有待提高。 Li等人提出一种双重注意力指针模型， 利用自注意力机制产生原 始文本的关键特性， 让其与 原始文本信息融合生成摘要， 弥补了摘要关键特性不足的缺点， 但并没有对文本的深层语义进 行分析， 导致生成的摘要与 原始文本语义还有偏差。 Cui等人 提出一种针对多文档摘要生成的模型， 通过对多个文档构建异构图， 同时引入主题建模发 现潜在主题， 两者结合生成了高质量的摘要。 Thong等人针对现有模型中短程依赖问题， 引 入具有规范化流的神经主题模型以捕获文本的全局语义， 有效解决了该问题。 但是该模型 并没有考虑到把文本语句的结构信息和语句中实体之 间的联系同摘要生成过程结合起来， 导致生成的摘要质量 不佳。说　明　书 1/5 页 3 CN 114691859 A 3