(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210150760.5 (22)申请日 2022.02.18 (71)申请人 北京沃东天骏信息技 术有限公司 地址 100176 北京市大兴区北京经济技 术 开发区科创十一街18号院2号楼4层 A402室 申请人 北京京东世纪贸易有限公司 (72)发明人 张海楠　陈宏申　邹炎炎　丁卓冶　 龙波　 (74)专利代理 机构 中国贸促会专利商标事务所 有限公司 1 1038 专利代理师 孙玉　许蓓 (51)Int.Cl. G06F 40/58(2020.01) G06F 40/211(2020.01)G06F 40/289(2020.01) G06F 40/30(2020.01) G06F 40/51(2020.01) (54)发明名称 翻译模型的处理方法、 装置和计算机可读存 储介质 (57)摘要 本公开涉及一种翻译模 型的处理方法、 装置 和计算机可读存储介质， 涉及计算机技术领域。 本公开的方法包括： 获取多组训练语句， 其中， 每 组训练语句包括： 原语句和目标翻译语句； 针对 每组训练语句， 将原语句输入翻译模型的编码 器， 得到原语句的特征向量， 并将原语句的特征 向量输入翻译模 型的解码器； 针对解码器生成的 除句尾之外每个位置的词语， 确定该词语和该词 语之前的各个词语组成的已生成语句与 目标翻 译语句之间的语义相似度； 根据语义相似度选取 该词语或者目标翻译语句中与该词语相同位置 的词语生 成下一位置的词语； 根据解码器生成的 各个位置的词语组成的翻译语句与 目标翻译语 句的差异， 对翻译 模型进行训练。 权利要求书3页 说明书9页 附图4页 CN 114595701 A 2022.06.07 CN 114595701 A 1.一种翻译模型的处 理方法， 包括： 获取多组训练语句， 其中， 每组训练语句包括： 原语句和目标翻译语句； 针对每组训练语句， 将原语句输入翻译模型的编码器， 得到所述原语句的特征向量， 并 将所述原语句的特 征向量输入所述翻译模型的解码器； 针对所述解码器生成的除句尾之外每个位置的词语， 确定该词语和该词语之前的各个 词语组成的已生成语句与所述目标翻译语句之间的语义相似度； 根据所述语义相似度选取该词语或者所述目标翻译语句中与该词语相同位置的词语 生成下一 位置的词语； 根据所述解码器生成的各个位置的词语组成的翻译语句与所述目标翻译语句的差异， 对所述翻译模型进行训练。 2.根据权利要求1所述的处理方法， 其中， 所述确定该词语和该词语之前的各个词语组 成的已生成语句与所述目标翻译语句之间的语义相似度包括： 将该词语和该词语之前的各个词语组成的已生成语句与所述目标翻译语句作为语句 对， 输入基于转换器的双向编码表征BERT模型， 得到 输出所述语句对的特 征向量； 将所述语句对的特征向量输入激活函数模块， 得到所述已生成语句与 所述目标翻译语 句的语义相似度。 3.根据权利要求1所述的处理方法， 其中， 所述确定该词语和该词语之前的各个词语组 成的已生成语句与所述目标翻译语句之间的语义相似度包括： 生成随机数， 并将所述随机数与参考值对比， 其中， 所述参考值位于所述随机数的取值 范围内； 确定所述随机数是否小于所述参考值， 在小于所述参考值的情况下， 确定该词语和该 词语之前的各个词语组成的已生成语句与所述目标翻译语句之间的语义相似度。 4.根据权利要求3所述的处 理方法， 其中， 所述参考值随训练次数的增大而增大。 5.根据权利要求1所述的处理方法， 其中， 所述根据 所述语义相似度选取该词语或者所 述目标翻译语句中与该词语相同位置的词语生成下一 位置的词语包括： 在所述语义相似度高于阈值的情况 下， 根据该词语生成下一 位置的词语； 在所述语义相似度低于阈值的情况下， 根据 所述目标翻译语句中与 该词语相同位置的 词语生成下一 位置的词语。 6.根据权利要求5所述的处 理方法， 其中， 所述阈值随训练次数的增 加而增大。 7.根据权利要求1所述的处理方法， 其中， 所述解码器包括多个解码模块， 所述根据所 述语义相似度选取该词语或者所述目标翻译语句中与该词语相同位置的词语生成下一位 置的词语包括： 根据所述语义相似度选取该词语或者所述目标翻译语句中与 该词语相同位置的词语， 作为输入词语； 将该词语对应的解码模块输出的状态， 所述输入词语的词向量输入下一位置的词语对 应的解码模块， 得到 输出的下一 位置的词语。 8.根据权利要求1 ‑7任一项所述的处 理方法， 还 包括：权　利　要　求　书 1/3 页 2 CN 114595701 A 2将待翻译语句输入训练完成的翻译模型， 得到对应的翻译语句。 9.根据权利要求8所述的处理方法， 其中， 所述将待翻译语句输入训练完成的翻译模 型， 得到对应的翻译语句包括： 将所述待翻译语句输入翻译模型的编码器， 得到待翻译语句的特征向量， 并将待翻译 语句的特征向量输入所述翻译模型的解码器； 根据所述解码 器输出的每个位置上各个词语 的概率值， 选取预设数量的词语作为所述每 个位置的多个备选词语； 根据所述每个位置的多个备选词语， 生成所述每个位置的下一位置的多个备选词语， 直至达到句尾， 其中， 每 个位置的备选词语的数量相同； 利用所述解码器生成各个位置的备选词语组成多个备选翻译语句， 其中， 每个备选翻 译语句中的词语之间的生成是相关联的； 根据各个备选翻译语句的概率值选取一个备选翻译语句， 作为所述待翻译语句的翻译 语句。 10.根据权利要求9所述的处理方法， 其中， 所述根据所述解码器输出的每个位置上各 个词语的概 率值， 选取预设数量的词语作为所述每 个位置的多个备选词语包括： 针对所述解码器输出的所述每个位置上的各个词语， 根据 该词语的概率值以及与生成 该词语关联的之前 各个词语的概 率值， 确定该词语的选取概 率值； 根据所述解码器输出的所述每个位置上各个词语的选取概率值， 选取预设数量的词 语， 作为所述 解码器生成的所述每 个位置的多个备选词语。 11.根据权利要求9所述的处理方法， 其中， 所述根据各个备选翻译语句的概率值选取 一个备选翻译语句， 作为所述待翻译语句的翻译语句包括： 针对所述解码器生成的每个备选翻译语句， 根据该翻译语句中各个词语的概率值， 确 定各个备选翻译语句的概 率值； 选取概率值最大的备选翻译语句作为所述待翻译语句的翻译语句。 12.一种翻译模型的处 理装置， 包括： 获取模块， 用于获取多组训练语句， 其中， 每组训练语句包括： 原语句和目标翻译语句； 输入模块， 用于针对每组训练语句， 将原语句输入翻译模型的编码器， 得到所述原语句 的特征向量， 并将所述原语句的特 征向量输入所述翻译模型的解码器； 确定模块， 用于针对所述解码器生成的除句尾之外每个位置的词语， 确定该词语和该 词语之前的各个词语组成的已生成语句与所述目标翻译语句之间的语义相似度； 生成模块， 用于根据 所述语义相似度选取该词语或者所述目标翻译语句中与 该词语相 同位置的词语生成下一 位置的词语； 训练模块， 用于根据 所述解码器生成的各个位置的词语组成的翻译语句与 所述目标翻 译语句的差异， 对所述翻译模型进行训练。 13.根据权利要求12所述的处 理装置， 还 包括： 翻译模块， 用于将待翻译语句输入训练完成的翻译模型， 得到对应的翻译语句。 14.一种翻译模型的处 理装置， 包括： 处理器； 以及 耦接至所述处理器的存储器， 用于存储指令， 所述指令被所述处理器执行时， 使所述处 理器执行如权利要求1 ‑11任一项所述的翻译模型的处 理方法。权　利　要　求　书 2/3 页 3 CN 114595701 A 3