(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210082318.3 (22)申请日 2022.01.24 (71)申请人 企知道网络技 术有限公司 地址 518051 广东省深圳市南 山区西丽 街 道西丽社区留仙大道创智云城1标段1 栋D座2201 (72)发明人 蔡青山　王永强　 (51)Int.Cl. G06F 40/295(2020.01) G06F 40/30(2020.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 训练模型的方法、 命名实体识别方法和装置 (57)摘要 本申请的实施例提供了一种训练模型的方 法、 命名实体识别方法和装置， 该模型训练方法 包括： 获取具有标记的样本集； 将文本信息输入 预训练的BERT模型， 得到对应文本信息的特征向 量； 在特征向量中注入对抗扰动生成对抗样本； 将对抗样 本作为条件随机场的输入， 将标注字 符 作为条件随机场的输出， 以最大化真实标注序列 的对数概率为目的训练条件随机场， 以完成识别 模型的训练。 本申请由于在训练过程中增加对抗 样本， 从而能够增强字的语义表示， 挖掘企业描 述文本的局部特征以及字的多重语义信息， 同时 能够增强模 型的稳健型和泛化能力， 进而提高了 中文企业主营产品命名实体识别的准确率、 查全 率和识别效率。 权利要求书2页 说明书10页 附图3页 CN 114611514 A 2022.06.10 CN 114611514 A 1.一种训练用于识别企业主营产品的命名实体模型的方法， 其特 征在于， 包括： 获取具有标记 的样本集， 其中， 所述样本集中的样本包括描述企业产品的文本信息和 所述文本信息的标注字符； 将所述文本信息 输入预训练的BERT模型， 得到对应所述文本信息的特 征向量； 在所述特 征向量中注入 对抗扰动生成对抗样本； 将所述对抗样本作为条件随机场的输入， 将所述标注字符作为所述条件随机场的输 出， 以最大化真实标注序列的对数概率为 目的训练所述条件随机场， 以完成识别模型 的训 练。 2.根据权利要求1所述的训练方法， 其特征在于， 所述在所述特征向量中增加对抗扰动 生成对抗样本包括： 通过对抗学习在所述特 征向量中注入所述对抗扰动， 生成所述对抗样本： 其中， 为训练集， x为特征向量， y为标签， θ为模型参数， L(x,y； θ )为单个样本的损失 函数， Δx为对抗扰动， Ω为扰动空间。 3.根据权利要求2所述的训练方法， 其特 征在于， 所述对抗扰动采用下式进行计算： 其中， 为对x的梯度， x为特征向量， y为标签， θ 为模型参数， L(x,y； θ )为单个样本的损 失函数， Δx为对抗扰动。 4.根据权利要求3所述的训练方法， 其特 征在于， 还 包括： 采用L2归一 化， 对所述对抗扰动进行 标准化处理： 其中， 为对x的梯度， x为特征向量， y为 标签， θ 为模型参数， L(x,y； θ )为单个样本的损 失函数， Δx为对抗扰动。 5.根据权利要求1所述的训练方法， 其特 征在于， 所述获取 具有标记的样本集包括： 获取描述企业产品的所述文本信息； 基于BIO标注方式， 对所述文本信息进行 标注； 将所述文本信息和所述标注字符作为所述样本集； 其中， 所述BIO标注规则包括： 若一个字符单元是一个主营产品的开始字符， 则标注为 B‑nice； 若一个字 符单元是一个主营产品词的非开始字 符， 则标注 为I‑nice； 若一个字 符单 元不属于主营产品词， 则标注为O。 6.一种命名实体识别方法， 其特 征在于， 包括： 获取待识别文本信息， 所述待识别文本信息用于描述企业产品； 根据所述待识别文本信 息， 通过权利要求1所述的方法训练完成的识别模型， 确定所述 待识别文本信息对应的概 率最大的BIO标记序列； 根据所述 概率最大的BIO标记序列， 确定企业主营产品。权　利　要　求　书 1/2 页 2 CN 114611514 A 27.一种训练用于识别企业主营产品的命名实体模型的装置， 其特 征在于， 包括： 第一获取模块， 用于获取具有标记的样本集， 其中， 所述样本集中的样本包括描述企业 产品的文本信息和所述文本信息的标注字符； 向量提取模块， 用于将所述文本信息输入预训练的BERT模型， 得到对应所述文本信息 的特征向量； 对抗生成模块， 用于在所述特 征向量中注入 对抗扰动生成对抗样本； 模型训练模块， 用于将所述对抗样本作为条件随机场的输入， 将所述标注字符作为所 述条件随机场的输出， 以最大化真实标注序列的对数概率为 目的训练所述条件随机场， 以 完成识别模型的训练。 8.一种命名实体识别装置， 其特 征在于， 包括： 第二获取模块， 用于获取待识别文本信息， 所述待识别文本信息用于描述企业产品； 第一确定模块， 用于根据 所述待识别文本信 息， 通过权利要求7所述的装置训练完成的 识别模型， 确定所述待识别文本信息对应的概 率最大的BIO标记序列； 第二确定模块， 用于根据所述 概率最大的BIO标记序列， 确定企业主营产品。 9.一种电子设备， 包括存储器和处理器， 所述存储器上存储有计算机程序， 其特征在 于， 所述处理器执行所述计算机程序时实现如权利要求 1至5中任一项 所述的方法或如权利 要求6所述的方法。 10.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述计算机程序 被处理器执行时实现如权利要求1至 5中任一项所述的方法或如权利要求6所述的方法。权　利　要　求　书 2/2 页 3 CN 114611514 A 3