(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210059473.3 (22)申请日 2022.01.19 (71)申请人 北京沃东天骏信息技 术有限公司 地址 100176 北京市北京经济技 术开发区 科创十一 街18号院2号楼4层A402室 申请人 北京京东世纪贸易有限公司 (72)发明人 方俊　刘超　刘朋樟　包勇军　 (74)专利代理 机构 中原信达知识产权代理有限 责任公司 1 1219 专利代理师 张一军　王安娜 (51)Int.Cl. G06F 40/30(2020.01) G06K 9/62(2022.01) G06F 16/35(2019.01) (54)发明名称 一种识别文本的方法和装置 (57)摘要 本发明公开了一种识别文本的方法和装置， 涉及深度学习技术领域。 该方法的一具体实施方 式包括： 将待识别文本输入到预训练编码器， 以 输出所述待识别文本的通用语义向量； 将所述待 识别文本的通用语义向量输入到经过训练的特 征投影层， 以输出所述待识别文本的识别结果； 其中， 所述特征投影层的训练过程采用正则项约 束特征子空间的各个基向量， 以使所述特征子空 间的各个基向量之间相互垂直。 该 实施方式能够 解决特征向量的可解释性较 差的技术问题。 权利要求书2页 说明书11页 附图6页 CN 114492454 A 2022.05.13 CN 114492454 A 1.一种识别文本的方法， 其特 征在于， 包括： 将待识别文本 输入到预训练编码器， 以输出 所述待识别文本的通用语义向量； 将所述待识别文本的通用语义向量输入到经过训练 的特征投影层， 以输出所述待识别 文本的识别结果； 其中， 所述特征投影层的训练过程采用正则项约束特征子空间的各个基向量， 以使所 述特征子空间的各个 基向量之间相互垂直。 2.根据权利要求1所述的方法， 其特征在于， 将待识别文本输入到预训练编码器， 以输 出所述待识别文本的通用语义向量之前， 还 包括： 将样本文本 输入到预训练编码器， 以输出 所述样本文本的通用语义向量； 将所述样本文本的通用语义向量及其对应的标签输入到神经网络， 同时采用正则项约 束特征子空间的各个基向量， 以使所述特征子空间的各个基向量之间相互垂直， 所述神经 网络经过迭代训练后得到特 征投影层。 3.根据权利要求2所述的方法， 其特征在于， 采用正则项约束特征子空间的各个基向 量， 以使所述特 征子空间的各个 基向量之间相互垂直， 包括： 初始化参数矩阵； 其中， 所述 参数矩阵为所述特 征投影层的参数； 计算所述 参数矩阵与单位矩阵之间的差异， 从而得到正则项； 以所述正则项接 近于零为目标， 优化所述特 征投影层的参数。 4.根据权利要求3所述的方法， 其特征在于， 计算所述参数矩阵与单位矩阵之间的差 异， 从而得到正则项， 包括： 对所述参数矩阵进行归一 化处理， 得到权重矩阵； 将所述权重矩阵的转置矩阵与 所述权重矩阵相乘， 得到点积矩阵； 其中， 所述点积矩阵 表示特征子空间的各个 基向量之间的点积； 计算所述 点积矩阵和单位矩阵之间的差异， 从而得到正则项。 5.根据权利要求4所述的方法， 其特征在于， 对所述参数矩阵进行归一化处理， 得到权 重矩阵， 包括： 对于所述 参数矩阵中的每 个列向量， 计算所述列向量的模长； 对于所述列向量中的每个元素， 将所述元素除以所述模长， 得到归一化后的列向量， 从 而得到权重矩阵。 6.根据权利要求4所述的方法， 其特征在于， 采用如下方法计算所述点积矩阵和单位矩 阵之间的差异： 计算所述 点积矩阵与单位矩阵之间的均方； 或者， 基于损失函数计算所述 点积矩阵与单位矩阵之间的差值。 7.根据权利要求6所述的方法， 其特征在于， 基于损失函数计算所述点积矩阵与单位矩 阵之间的差值， 包括： 采用如下公式计算所述 点积矩阵与单位矩阵之间的差值： mean[I‑softmax(a*A)*I] 其中， a为控制正则项强度的超参数， I 为单位矩阵， A为 点积矩阵。 8.一种识别文本的装置， 其特 征在于， 包括：权　利　要　求　书 1/2 页 2 CN 114492454 A 2编码模块， 用于将待识别文本输入到预训练编码器， 以输出所述待识别文本的通用语 义向量； 识别模块， 用于将所述待识别文本的通用语义向量输入到经过训练的特征投影层， 以 输出所述待识别文本的识别结果； 其中， 所述特征投影层的训练过程采用正则项约束特征子空间的各个基向量， 以使所 述特征子空间的各个 基向量之间相互垂直。 9.一种电子设备， 其特 征在于， 包括： 一个或多个处 理器； 存储装置， 用于存 储一个或多个程序， 当所述一个或多个程序被所述一个或多个处理器执行时， 所述一个或多个处理器实现 如权利要求1 ‑7中任一所述的方法。 10.一种计算机可读介质， 其上存储有计算机程序， 其特征在于， 所述程序被处理器执 行时实现如权利要求1 ‑7中任一所述的方法。权　利　要　求　书 2/2 页 3 CN 114492454 A 3