(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210253749.1 (22)申请日 2022.03.15 (71)申请人 四川新网银行股份有限公司 地址 610000 四川省成 都市中国(四川)自 由贸易试验区成都高新区吉泰三路8 号1栋1单 元26楼1-8号 (72)发明人 徐万珺　 (74)专利代理 机构 成都行之专利代理事务所 (普通合伙) 51220 专利代理师 梁田 (51)Int.Cl. G06F 16/332(2019.01) G06F 40/289(2020.01) G06F 40/30(2020.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 应用于多轮对话系统的对话生成方法、 装 置、 设备及 介质 (57)摘要 本发明公开了应用于多轮对话系统的对话 生成方法、 装置、 设备及介质， 包括获取用户的第 一轮对话， 利用语义理解模型对第一轮对话进行 特征抽取， 得到第一轮对话内容的语义特征表 示； 利用编码器对语义特征表 示抽取深层次的语 义信息， 生成第一轮中间变量； 利用意图特征计 算网络对第一轮中间变量抽取得到意图特征表 示； 将意图特征表示和第一轮中间变量分别解 码， 将解码结果输入生成网络中， 由生成网络完 成响应， 生成第一轮对话内容的响应文本并返 回， 完成第一轮对话生成； 等待并获取下一轮对 话， 重复上述步骤， 直至用户触发结束条件， 本次 多轮对话结束。 本发明适用于多轮交互的对话场 景， 基于当前对话内容和历史对话记录实现响应 生成， 完成多轮交 互。 权利要求书3页 说明书12页 附图3页 CN 114579728 A 2022.06.03 CN 114579728 A 1.一种应用于多轮对话系统的对话 生成方法， 其特 征在于， 该 方法包括： 获取用户的第一轮对话， 利用语义理解模型对所述第一轮对话进行特征抽取， 得到第 一轮对话内容的语义特 征表示； 根据所述语义特征表示， 利用编码器对所述语义特征表示抽取深层次的语义信息， 生 成第一轮中间变量； 根据所述第 一轮中间变量， 利用意图特征计算网络对所述第 一轮中间变量抽取得到意 图特征表示； 将所述意图特征表示和所述第一轮中间变量分别解码， 并将解码结果输入生成网络 中， 由所述生成网络完成响应， 生 成第一轮对话内容的响应文本并返回， 至此完成是第一轮 对话生成； 等待并获取 下一轮对话， 重复上述 步骤， 直至用户触发结束条件， 本次多轮对话结束。 2.根据权利要求1所述的一种应用于多轮对话系统的对话生成方法， 其特征在于， 所述 的等待并获取下一轮对话， 重复上述步骤， 直至用户触发结束条件， 本次多轮对话结束； 包 括： 在执行第N轮对话时， 将历史用户对话内容的意图特征表示组和所述第N ‑1轮中间变量 分别解码， 并将解码结果输入生成网络中， 由所述生成网络完成响应， 生成第N轮对话内容 的响应文本并返回， 至此完成是第N轮对话 生成； 其中， 所述历史用户对话内容的意图特征表示组为前N ‑1轮意图特征表示的集合， 包括 第一轮的意图特 征表示、 第二轮的意图特 征表示、……、 第N‑1轮的意图特 征表示。 3.根据权利要求1所述的一种应用于多轮对话系统的对话生成方法， 其特征在于， 所述 的获取用户的第一轮对话， 利用语义理解模型对所述第一轮对话进行特征抽取， 得到第一 轮对话内容的语义特 征表示； 具体包括： 根据用户的第一轮对话， 获取用户的第一轮对话输入文本； 利用分词算法对用户的第一轮对话输入文本进行分词处理， 得到分词序列S1＝(s1, s2,...,st,...,sn)； 其中， st＝onehot(xt)， st为采用读热编码法将输入文本数据xt转换为 的数值向量； t为分词序列中的第t个词； 将所述分词序列S1输入预设的语义理解模型中， 对所述分词序列S1进行特征抽取， 计 算第一轮对话的语 义向量W1＝(w1,w2,...,wt,...wn)并输出， wt为第一轮对话的语 义向量W1 中的元素。 4.根据权利要求3所述的一种应用于多轮对话系统的对话生成方法， 其特征在于， 所述 语义理解模型为bi ‑LSTM网络， 采用所述bi ‑LSTM网络计算第一轮对话的语义向量， 计算公 式为： 式中， wt为第一轮对话的语义向量W1中的元素； 是根据基于两个序列方向计算出 的语义向量， MLP( ·)是一层全连接网络 。 5.根据权利要求3所述的一种应用于多轮对话系统的对话生成方法， 其特征在于， 所述 的根据所述语义特征表示， 利用编码器对所述语义特征表示抽取更深层次的语义信息， 生 成第一轮中间变量； 具体包括：权　利　要　求　书 1/3 页 2 CN 114579728 A 2构建以bi ‑GRU为骨架的编码器； 根据所述第一轮对话的语义向量W1， 将所述第一轮对话的语义向量W1中的元素wt输入 构建好的编码器中， 计算更新门权 重zt和重置门rt权重： zt＝σ(Wz·[ht‑1,wt]) rt＝σ(Wr·[ht‑1,wt]) 式中， W是预设编码器中已经训练好的参数， Wz、 Wr分别对应于编码器所采用的更新门参 数与重置门参 数， σ(·)是激活函数， ht‑1为以wt‑1为输入时计 算得到的输出ht， 且h0为由网络 进行随机生成的向量； 根据所述更新门权重zt和重置门rt权重， 计算候选中间变量； 根据所述候选中间变量， 计算出最终的中间变量c1＝hn， 其中n为输入序列长度； 式中， tanh( ·)代表激活函数， W为网络中训练好的参数， hn即当t＝n也就是序列长度时 对应的网络 输出。 6.根据权利要求1所述的一种应用于多轮对话系统的对话生成方法， 其特征在于， 所述 意图特征计算网络是以RNN+Attention机制为骨架的意图特征计算网络， 将历史对话记录 序列作为输入RNN中， 再由Attention机制进行计算， 通过attention权重决定当前话题特征 倾向， 延续对话历史。 7.根据权利要求1所述的一种应用于多轮对话系统的对话生成方法， 其特征在于， 所述 的将所述意图特征表示和所述第一轮中间变量分别解码， 并将解码结果输入生成网络中， 由所述生成网络完成响应， 生成第一轮对话内容的响应文本并返回， 至此完成是第一轮对 话生成； 具体包括： 构建双层的单向GRU作为 生成网络； 将所述意图特征表示和所述第 一轮中间变量分别解码， 并将解码结果输入生成构建的 所述生成网络中， 实现文本序列生成， 得到候选序列； 根据所述候选序列， 采用beamsearch算法作 为搜索策略， 搜索 出最优序列A1， 即对话内 容的响应文本， 返回到对话中。 8.一种应用于多轮对话系统 的对话生成装置， 其特征在于， 该装置支持如权利要求1至 7中任一所述的一种应用于多轮对话系统的对话 生成方法； 该装置包括： 获取单元， 用于根据用户的各轮对话， 获取用户的各轮对话输入文本； 语义向量表示单元， 用于根据获取的用户的第N轮对话， 利用语义理解模型对所述第N 轮对话进行 特征抽取， 得到第N轮对话内容的语义向量表示； 中间变量生成单元， 用于根据所述语义向量表示， 利用编码器对所述语义向量表示抽 取深层次的语义信息， 生成中间变量； 意图特征表示计算单元， 用于根据所述中间变量， 利用意图特征计算网络对所述中间 变量抽取 得到意图特 征表示； 解码单元， 用于将所述 意图特征表示和所述中间变量分别解码， 得到解码结果； 响应文本生成单元， 用于将解码结果输入生成网络 中， 由所述生成网络完成响应， 生成权　利　要　求　书 2/3 页 3 CN 114579728 A 3