(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210452946.6 (22)申请日 2022.04.27 (71)申请人 马上消费金融股份有限公司 地址 401120 重庆市渝北区黄山大道中段 52号渝兴广场B2栋4至8楼 (72)发明人 丁隆耀　王洪斌　权佳成　李宽　 (74)专利代理 机构 北京国昊天诚知识产权代理 有限公司 1 1315 专利代理师 许振新 (51)Int.Cl. G06F 16/332(2019.01) G06F 40/30(2020.01) G06K 9/62(2022.01) (54)发明名称 一种数据处理方法、 数据处理装置、 电子设 备及存储介质 (57)摘要 本发明提供一种数据处理方法、 数据处理装 置及电子设备。 方法包括： 获取目标交互场景对 应的微调训练样本集， 微调训练样 本集包括微调 训练样本和微调训练样本对应的意图标签。 通过 意图识别模型中第一模块对所述微调训练样本 进行语义编码， 通过意图识别模 型中的第二模块 对语义编码结果进行意图预测， 得到微调训练样 本对应的意图预测结果， 第一模块是基于目标交 互场景的关联场景中历史对话数据对和单头注 意力机制进行无监督预训练得到的。 基于微调训 练样本的意图标签和微调训练样本的意图预测 结果对第二模块进行微调训练。 本发 明能够快速 完成用于意图识别模型的训练， 并减小对于标注 样本的依赖， 特别适用于 冷启动和小样本支持的 应用场景。 权利要求书3页 说明书16页 附图5页 CN 114817501 A 2022.07.29 CN 114817501 A 1.一种数据处 理方法， 其特 征在于， 包括： 获取目标交互场景对应的微调训练样本集， 所述微调训练样本集包括微调训练样本和 所述微调训练样本对应的意图标签； 通过意图识别模型中第 一模块对所述微调训练样本进行语义编码， 并通过所述意图识 别模型中的第二模块对语义编 码结果进行意图预测， 得到所述微调训练样本对应的意图预 测结果， 所述第一模块是预先基于所述目标 交互场景的关联场景中历史对话数据对和单头 注意力机制进行 无监督预训练得到的； 基于所述微调训练样本对应的意图标签和所述微调训练样本对应的意图预测结果对 所述第二模块进行微调训练。 2.根据权利要求1所述的方法， 其特征在于， 所述基于所述训练样本对应的意图标签和 所述训练样本对应的意图预测结果对所述第二模块进行微调训练， 包括： 确定所述 意图标签和所述 意图预测结果之间的差异； 基于所述意图标签和所述意图预测结果之间的差异确定所述意图识别模型对应的微 调训练损失函数； 基于所述意图识别模型对应的微调训练损失函数确定微调训练 的梯度， 并按照所述微 调训练的梯度， 对所述第二模块的网络参数进行调整。 3.根据权利要求1所述的方法， 其特征在于， 所述第 一模块包括相互耦合的第 一子网络 和第二子网络， 在所述通过意图识别模型中的第一模块对所述微调训练样本进行语义编码 前， 所述方法还 包括： 获取预训练样本集， 所述预训练样本集包括所述目标交互场景相关的关联场景中历史 对话数据对， 所述历史对话数据对 包括提问数据和回答数据； 通过所述第 一子网络对所述预训练样本集中的提问数据进行特征提取， 得到第 一文本 特征， 以及通过所述第二子网络对所述预训练样本集中的回答数据进行特征提取， 得到第 二文本特 征； 确定所述第一文本特 征和所述第二文本特 征之间的匹配度； 基于所述第 一文本特征和所述第 二文本特征之间的匹配度， 确定所述第 一模块对应的 预训练损失函数； 基于所述第一模块对应的预训练损 失函数， 确定预训练的梯度， 并按照所述预训练的 梯度， 对所述第一模块的网络参数进行调整。 4.根据权利要求3所述的方法， 其特征在于， 所述第 一子网络包括第 一编码子模块和第 一单头自注意力子模块， 所述第二子网络包括第二编码子模块和第二单头自注意力子模 块， 所述第一单头自注意力模块和所述第二自注意力模块之间共享 参数； 所述通过所述第一子网络对所述预训练样本 中的提问数据进行特征提取， 得到第 一文 本特征， 包括： 通过所述第一子网络的第一子编码模块对所述预训练样本中的提问数据进行文本编 码处理， 并通过所述第一子网络中的第一单头自注意力子模块对提问数据的文本编 码处理 结果进行 特征提取， 得到所述第一文本特 征； 所述通过所述第二子网络对所述预训练样本 中的回答数据进行特征提取， 得到第 二文 本特征， 包括：权　利　要　求　书 1/3 页 2 CN 114817501 A 2通过所述第二子网络的第二编码子模块对所述预训练样本中的回答数据进行文本编 码处理， 并通过所述第二子网络中的第二单头自注意力子模块对回答数据的编 码处理结果 进行特征提取处 理， 得到所述第二文本特 征。 5.根据权利要求3所述的方法， 其特征在于， 所述获取目标交互场景对应的微调训练样 本集， 包括： 确定所述目标交互场景对应的定制微调训练样本集， 所述定制微调训练样本集包括定 制微调训练样本和所述定制微调训练样本对应的意图标签； 从公用样本知识库中获取公用微调训练样本集， 所述公用微调训练样本集包括公用微 调训练样本和所述公用微调训练样本对应的意图标签； 将所述定制训练样本集和所述公用训练样本集组成所述目标场景对应的微调训练样 本集。 6.如权利要求5所述的方法， 其特征在于， 所述确定所述目标交互场景对应的定制训练 样本集， 包括： 获取针对所述目标交互场景输入的基础微调训练样本和所述基础微调训练样本对应 的意图标签； 采用数据扩充方式对所述基础微调训练样本进行数据扩充处理， 得到扩充微调训练样 本和所述扩充微调训练样本对应的意图标签； 其中， 所述数据扩充方式包括如下任意一种 或多种： 引入标签的扩充方式、 引入口语化用词的扩充方式以及引入符号的扩充方式； 将所述基础微调训练样本集和所述扩充微调训练样本集组成为所述定制微调训练样 本集。 7.根据权利要求5所述的方法， 其特征在于， 在所述基于所述训练样本对应的意图标签 和所述训练样本对应的意图预测结果对所述第二模块进行微调训练后， 所述方法还 包括： 获取目标对象在所述目标交 互场景中产生的交 互数据； 通过所述意图识别模型对所述交互数据进行意图识别， 得到所述交互数据对应的目标 意图； 基于所述目标意图输出 所述交互数据对应的响应数据。 8.根据权利要求7 所述的方法， 其特 征在于， 所述方法还 包括： 将所述交 互数据和所述响应数据作为 一个数据对 存储至对话日志中； 当到达上传条件时， 将所述对话日志中存储的数据对上传至数据管理平台， 以由所述 数据管理平台将所述对话日志中数据对作为历史对话数据对添加至所述预训练样本集合， 以当对所述第一模块进行预训练时， 基于所述新的预训练样本对所述第一模块进行预训 练。 9.如权利要求8所述的方法， 其特 征在于， 所述方法还 包括： 确定所述 意图识别模型针对所述目标意图的置信率； 若所述目标意图对应的置信率不满足置信率阈值， 则将所述交互数据 上传至数据分析 平台， 以由所述数据分析平台对所述交互数据标注意图标签， 并将标注后的所述交互数据 作为基础微调训练样本添加至所述定制微调训练样本集中。 10.一种数据处 理装置， 其特 征在于， 包括： 样本获取单元， 用于获取目标交互场景对应的微调训练样本集， 所述微调训练样本集权　利　要　求　书 2/3 页 3 CN 114817501 A 3