(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210504975.2 (22)申请日 2022.05.10 (71)申请人 北京明略昭辉科技有限公司 地址 100000 北京市海淀区北三环西路25 号27号楼二层2020室 (72)发明人 曹戴　赵亮　李华飞　李岩　 (74)专利代理 机构 北京康盛知识产权代理有限 公司 11331 专利代理师 陶俊洁 (51)Int.Cl. G06F 16/33(2019.01) G06F 16/332(2019.01) G06F 40/211(2020.01) G06F 40/216(2020.01) G06F 40/30(2020.01)G06N 20/00(2019.01) (54)发明名称 用于训练模型的方法及装置、 电子设备、 存 储介质 (57)摘要 本申请涉及知识问答技术领域， 公开一种用 于训练模型的方法， 包括： 获取训练样本集； 训练 样本集中包括不同领域的样本句子对和样本句 子对对应的样本标签； 样本标签用于表征句子对 之间的相似等级； 将带有样本标签的样本句子对 输入预设的预训练模型中对适配器模块的参数 进行更新， 获得目标模型； 预训练模型包括适配 器模块， 适配器模块用于进行领域知识迁移。 这 样， 通过在预训练模型的基础上加上适配器模 块， 在对预训练模型训练时冻住预训练模型的其 他参数， 只更新适配器模块的参数， 这样能够缩 减需训练的参数量， 从而能够快速训练出目标模 型， 在利用该目标模型获取问句答案时效率更 高。 本申请还公开一种用于训练模 型的装置及电 子设备、 存 储介质。 权利要求书2页 说明书10页 附图5页 CN 114756658 A 2022.07.15 CN 114756658 A 1.一种用于训练模型的方法， 其特 征在于， 包括： 获取训练样本集； 所述训练样本集中包括不同领域的样本句子对和所述样本句子对对 应的样本标签； 所述样本标签用于表征 所述句子对之间的相似等级； 将带有所述样本标签的样本句子对输入预设的预训练模型中对适配器模块的参数进 行更新， 获得目标模 型； 所述预训练模 型包括所述适配器模块， 所述适配器模块用于进行领 域知识迁移。 2.根据权利要求1所述的方法， 其特征在于， 将带有所述样本标签的样本句子对输入预 设的预训练模型中对适配 器模块的参数进行 更新， 获得目标模型， 包括： 获取所述样本句子对应的相似等级预测值； 获取所述样本标签与所述相似等级预测值之间的损失值； 根据所述损失值对所述 适配器模块的参数进行 更新； 将更新参数后的预训练模型确定为目标模型。 3.根据权利要求2所述的方法， 其特征在于， 获取所述样本标签与所述相似等级预测值 之间的损失值， 包括： 根据预设的损失函数利用所述样本标签与 所述相似等级预测值进行计算， 获得所述损 失值。 4.根据权利要求1所述的方法， 其特征在于， 所述预训练模型包括输入模块、 第一预设 个数编码器模块和输出模块， 所述编码器模块中设置有第二预设个数适配器模块； 所述输 入模块用于获取样本句子对中各字词分别对应的第一特征向量， 所述编码器模块用于获取 各所述第一特征向量分别对应的语义编 码向量； 所述输出模块用于根据所述语义编 码向量 获取所述样本句子对 对应的第二特 征向量； 所述 适配器模块用于进行 领域知识迁移。 5.一种用于训练模型的装置， 其特 征在于， 包括： 获取模块， 被配置为获取训练样本集； 所述训练样本集中包括不同领域的样本句子对 和所述样本句子对 对应的样本标签； 所述样本标签用于表征 所述句子对之间的相似等级； 更新模块， 被配置为将带有所述样本标签的样本句子对输入预设的预训练模型中对适 配器模块的参数进 行更新， 获得目标模 型； 所述预训练模型包括所述适配器模块， 所述适配 器模块用于进行 领域知识迁移。 6.根据权利要求5所述的装置， 其特征在于， 所述更新模块被配置为通过以下方式将带 有所述样本标签的样本句子对输入预设的预训练模型中对适配器模块的参数进行更新， 获 得目标模型： 获取所述样本句 子对应的相似等级预测 值； 获取所述样本标签与所述相似等 级预测值之间的损失值； 根据所述损失值对所述适配器模块的参数进行更新； 将更新参数 后的预训练模型确定为目标模型。 7.根据权利要求6所述的装置， 其特征在于， 获取所述样本标签与所述相似等级预测值 之间的损失值， 包括： 根据预设的损失函数利用所述样本标签与 所述相似等级预测值进行计算， 获得所述损 失值。 8.根据权利要求5所述的装置， 其特征在于， 所述预训练模型包括输入模块、 第一预设 个数编码器模块和输出模块， 所述编码器模块中设置有第二预设个数适配器模块； 所述输 入模块用于获取样本句子对中各字词分别对应的第一特征向量， 所述编码器模块用于获取权　利　要　求　书 1/2 页 2 CN 114756658 A 2各所述第一特征向量分别对应的语义编 码向量； 所述输出模块用于根据所述语义编 码向量 获取所述样本句子对 对应的第二特 征向量； 所述 适配器模块用于进行 领域知识迁移。 9.一种电子设备， 包括处理器和存储有程序指令的存储器， 其特征在于， 所述处理器被 配置为在运行 所述程序指令时， 执 行如权利要求1至4任一项所述的用于训练模型的方法。 10.一种存储介质， 存储有程序指令， 其特征在于， 所述程序指令在运行时， 执行如权利 要求1至4任一项所述的用于训练模型的方法。权　利　要　求　书 2/2 页 3 CN 114756658 A 3