(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210317094.X (22)申请日 2022.03.29 (71)申请人 阿里巴巴 （中国） 有限公司 地址 310051 浙江省杭州市滨江区长河街 道网商路69 9号4号楼5楼5 08室 (72)发明人 王梦娣　李与超　李深　 (74)专利代理 机构 北京润泽恒知识产权代理有 限公司 1 1319 专利代理师 谭镇 (51)Int.Cl. G06K 9/62(2022.01) G06F 40/30(2020.01) G06N 3/04(2006.01) (54)发明名称 模型结构的获取方法及装置 (57)摘要 本申请实施例提供了一种模型结构的获取 方法及装置， 包括： 在对包括多个子模型的模型 集合进行迭代训练的过程中， 根据第一迭代操作 结束后子模 型的第一采样概率， 从预设的至少两 个采样方式中选取第二迭代操作所采用的目标 采样方式； 在执行了至少一次的迭代操作后， 获 得模型集合中子模型的第二采样概率； 根据目标 设备的算力资源约束条件和第二采样概率， 从模 型集合中选取目标子模型， 并根据目标子网络获 取目标模型。 本申请可以通过为每次迭代操作动 态的选择合适的采样方式， 来提高模 型集合的训 练效率和精度， 另外， 模型获取过程不需要再进 行额外的子模型精度验证操作， 降低了计算开 销。 权利要求书3页 说明书18页 附图8页 CN 114707592 A 2022.07.05 CN 114707592 A 1.一种模型 结构的获取 方法， 其特 征在于， 包括： 在对包括多个子模型的模型集合进行迭代训练的过程中， 根据第 一迭代操作 结束后所 述子模型的第一采样概率， 从预设的至少两个采样方式中选取第二迭代操作所采用的目标 采样方式； 所述第二迭代操作为所述第一迭代操作的下一次迭代操作； 在执行了至少一次的迭代操作后， 获得 所述模型集 合中子模型的第二采样概 率； 根据目标设备的算力资源约束条件和所述第 二采样概率， 从所述模型集合中选取目标 子模型， 并根据所述目标子网络获取目标模型。 2.根据权利要求1所述的方法， 其特征在于， 所述根据第 一迭代操作 结束后所述子模型 的第一采样概率， 从预设的至少两个采样方式中选取第二迭代操作所采用的目标采样方 式， 包括： 根据所述第一采样概率， 计算与所述第一迭代操作对应的采样效果得分， 所述采样效 果得分越小， 所述第一迭代操作的采样效果越佳； 根据预设的方式选取函数和所述采样效果得分， 从预设的至少两个采样方式中选取第 二迭代操作所采用的目标采样方式。 3.根据权利要求2所述的方法， 其特征在于， 所述根据预设的方式选取函数和所述采样 效果得分， 从预设的至少两个采样方式 中选取第二迭代操作所采用的目标采样方式， 包括： 根据伯努利分布函数、 预设的采样次数和所述采样效果得分， 从预设的均匀采样方式 和优化采样方式中选取目标采样方式， 使得第二迭代操作按照所述目标采样方式从所述模 型集合中选取待训练的子模型进行训练； 其中， 所述均匀采样方式用于按照固定的选取概率选取所述子模型； 所述优化采样方 式针对训练效果更好的子模型 具有更高的选取概 率。 4.根据权利要求3所述的方法， 其特征在于， 所述根据所述第一采样概率， 计算与所述 第一迭代操作对应的采样效果得分， 包括： 将所述子模型的第 一采样概率的对数的累加值， 作为与 所述第一迭代操作对应的采样 效果得分； 所述根据伯 努利分布函数、 预设的采样次数和所述采样效果得分， 从预设的均匀采样 方式和优化采样方式 中选取目标采样方式， 包括： 计算所述采样效果得分的归一 化处理结果； 将所述采样效果得分与所述归一化处理结果的比值， 确定为所述伯努利分布函数中用 于选取所述优化采样方式的目标概 率； 所述采样效果得分与所述目标概 率呈正比例关系； 根据所述伯 努利分布函数、 所述采样次数和所述目标概率， 从所述均匀采样方式和所 述优化采样方式 中选取目标采样方式。 5.根据权利要求1所述的方法， 其特征在于， 所述根据目标设备的算力资源约束条件和 所述第二采样概率， 从所述模型集合中选取目标子模型， 并根据所述 目标子网络获取目标 模型， 包括： 按照所述第二采样概 率对所述子模型进行排序， 得到目标序列； 从所述目标序列中第 二采样概率最大的子模型开始， 选取符合算力资源约束条件的目 标子模型， 并根据所述目标子网络获取目标模型。 6.根据权利要求5所述的方法， 其特征在于， 所述从所述目标序列的起点开始， 选取符权　利　要　求　书 1/3 页 2 CN 114707592 A 2合算力资源约束条件的目标子模型构成目标模型， 包括： 获取所述模型集 合中的子模型的资源需求 量； 从所述目标序列的起点开始选取一个或多个目标子模型， 并确定每次选取操作所选取 的目标子模型 的模型精度， 每次选取 的目标子模型 的资源需求量之和， 小于或等于与所述 算力资源约束条件 对应的资源上限值； 将所述模型精度最大的选取操作所选取的目标子模型构成所述目标模型。 7.根据权利要求6所述的方法， 其特征在于， 所述资源上限值包括： 模型参数量上限值、 模型单次计算 量上限值、 模型内存使用量上限值中的至少一种。 8.一种基于硬件算力约束的模型确定方法， 其特 征在于， 包括： 获取电子设备的算力资源约束值； 在对包括多个子模型的模型集合进行迭代训练的过程中， 根据第 一迭代操作 结束后所 述子模型的第一采样概率， 从预设的至少两个采样方式中选取第二迭代操作所采用的目标 采样方式； 所述第二迭代操作为所述第一迭代操作的下一次迭代操作； 在执行了至少一次的迭代操作后， 获得 所述模型集 合中子模型的第二采样概 率； 根据所述电子设备的算力资源约束值和所述第 二采样概率， 从所述模型集合中选取目 标子模型以构成供所述电子 设备使用的目标模 型， 所述目标子模型的资源需求量之和小于 或等于所述 算力资源约束值。 9.一种语义识别方法， 其特 征在于， 包括： 获取待识别语料； 将所述待识别语料输入目标模型， 得到所述待识别语料的语义识别结果； 其中， 所述目标模型为基于上述权利要求1 ‑7任一项模型结构的获取方法所确定得到 的。 10.一种模型 结构的获取装置， 其特 征在于， 包括： 第一选择模块， 用于在对包括多个子模型的模型集合进行迭代训练的过程中， 根据第 一迭代操作结束后所述子模型的第一采样概率， 从预设的至少两个采样方式中选取第二迭 代操作所采用的目标采样方式； 所述第二迭代操作为所述第一迭代操作 的下一次迭代操 作； 第一终止迭代模块， 用于在执行了至少一次的迭代操作后， 获得所述模型集合中子模 型的第二采样概 率； 第一构建模块， 用于根据目标设备的算力资源约束条件和所述第二采样概率， 从所述 模型集合中选取目标子模型， 并根据所述目标子网络获取目标模型。 11.一种基于硬件算力约束的模型确定装置， 其特 征在于， 包括： 第一获取模块， 用于获取电子设备的算力资源约束值； 第二选择模块， 用于在对包括多个子模型的模型集合进行迭代训练的过程中， 根据第 一迭代操作结束后所述子模型的第一采样概率， 从预设的至少两个采样方式中选取第二迭 代操作所采用的目标采样方式； 所述第二迭代操作为所述第一迭代操作 的下一次迭代操 作； 第二终止迭代模块， 用于在执行了至少一次的迭代操作后， 获得所述模型集合中子模 型的第二采样概 率；权　利　要　求　书 2/3 页 3 CN 114707592 A 3