(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111415941.8 (22)申请日 2021.11.25 (71)申请人 网宿科技股份有限公司 地址 200030 上海市徐汇区斜土路289 9号 甲光启文化广场A幢5楼 (72)发明人 余养强　 (74)专利代理 机构 上海晨皓知识产权代理事务 所(普通合伙) 3126 0 代理人 成丽杰 (51)Int.Cl. G06N 20/00(2019.01) (54)发明名称 模型训练方法、 系统、 电子设备及存 储介质 (57)摘要 本申请实施例涉及计算机技术领域， 公开了 一种模型训练方法、 系统、 电子设备及存储介质。 应用在模型训练系统的主处理器中， 模型训练系 统还包括处理器集群和数据库， 方法包括： 将原 始数据集拆分为多个第一数据子集， 并为各第一 数据子集分配数据标识； 将各数据标识和各第一 数据子集存入 数据库的第一表结构中； 以供处理 器集群中的各处理器从第一表结构中获取各第 一数据子集和各数据标识， 对各第一数据子集进 行处理生 成各第二数据子集， 并根据各数据标识 将各第二数据子集存入数据库的第二表结构中； 从第二表结构中获取各第二数据子集， 并基于各 第二数据子集进行模型训练。 能够保证数据的处 理速度与模 型训练的处理速度相匹配， 从而提高 模型训练的速度。 权利要求书2页 说明书8页 附图5页 CN 114239848 A 2022.03.25 CN 114239848 A 1.一种模型训练方法， 其特征在于， 应用在模型训练系统的主处理器中， 所述模型训练 系统还包括处理器集群和数据库； 所述方法包括： 将原始数据集拆分为多个第一数据子集， 并为各 所述第一数据子集分配数据标识； 将各所述数据标识和各所述第 一数据子集存入所述数据库的第 一表结构中； 以供所述 处理器集群中的各处理器从所述第一表结构中获取各所述第一数据子集和各所述数据标 识， 对各所述第一数据子集进行处理生成各第二数据子集， 并根据各所述数据标识将各所 述第二数据子集存 入所述数据库的第二表结构中； 从所述第二表结构中获取各所述第 二数据子集， 并基于各所述第 二数据子集进行模型 训练。 2.根据权利要求1所述的模型训练方法， 其特征在于， 所述将原始数据集拆分为多个第 一数据子集， 并为各 所述第一数据子集分配数据标识， 包括： 当所述模型为机器学习 模型时， 根据 各预设特征要求将所述原始数据集拆分为各所述 第一数据子集， 并根据各 所述预设特 征要求为各所述第一数据子集分配各 所述数据标识。 3.根据权利要求2所述的模型训练方法， 其特征在于， 所述从所述第 二表结构中获取各 所述第二数据子集， 并基于各 所述第二数据子集进行模型训练， 包括： 轮询各所述数据标识， 检测各 所述数据标识是否存在于所述第二表结构中； 当各所述数据标识均存在于所述第 二表结构中时， 从所述第 二表结构中获取各所述第 二数据子集； 将各所述第二数据子集汇总成训练数据集， 并基于所述训练数据集进行模型训练。 4.根据权利要求1所述的模型训练方法， 其特征在于， 所述将原始数据集拆分为多个第 一数据子集， 并为各 所述第一数据子集分配数据标识， 包括： 当所述模型为深度学习 模型时， 根据 预设的批次数将所述原始数据集拆分为各所述第 一数据子集， 并根据各 所述批次为各 所述第一数据子集分配各 所述数据标识。 5.根据权利要求4所述的模型训练方法， 其特征在于， 所述从所述第 二表结构中获取各 所述第二数据子集， 并基于各 所述第二数据子集进行模型训练， 包括： 轮询各所述数据标识， 检测本次轮询的数据标识是否存在于所述第二表结构中； 当所述本次轮询的数据标识存在于所述第 二表结构中时， 从所述第 二表结构中获取与 所述本次轮询的数据标识对应的第二数据子集； 将与所述本次轮询的数据标识对应的第 二数据子集加入缓存队列中， 并基于所述缓存 队列中的各 所述第二数据子集进行模型训练。 6.根据权利要求1所述的模型训练方法， 其特征在于， 所述将各所述数据标识和各所述 第一数据子集存入所述数据库的第一表结构 中， 之前还包括： 对各所述第一数据子集进行 序列化处 理。 7.一种模型训练系统， 其特 征在于， 所述系统包括： 主处 理器、 处理器集群和数据库； 其中， 所述主处理器， 用于将原始数据集拆分为多个第 一数据子集， 并为各所述第一数 据子集分配数据标识， 将各所述数据标识和各所述第一数据子集存入所述数据库的第一表 结构中； 所述处理器集群中的各处理器， 用于从所述第 一表结构中获取各所述第 一数据子集和 各所述数据标识， 对各所述第一数据子集进行处理生成各第二数据子集， 并根据各所述数权　利　要　求　书 1/2 页 2 CN 114239848 A 2据标识将各 所述第二数据子集存 入所述数据库的第二表结构中； 所述主处理器， 还用于从所述第二表结构中获取各所述第二数据子集， 并基于各所述 第二数据子集进行模型训练。 8.根据权利要求7所述的模型训练系统， 其特征在于， 当所述原始数据集由各原始数据 的数据存 储地址组成时， 所述系统还 包括用于存 储各所述原始数据的存 储模块； 所述处理器集群中的各处理器， 还用于根据 所获取的所述第 一数据子集中的各所述数 据存储地址从所述存 储模块中获取与各 所述数据存 储地址对应的各原 始数据。 9.一种电子设备， 其特 征在于， 包括： 至少一个处 理器； 以及， 与所述至少一个处 理器通信连接的存 储器； 其中， 所述存储器存储有可被所述至少一个处理器执行的指令， 所述指令被所述至少一个处 理器执行， 以使所述至少一个处理器能够执行如权利要求 1至6中任一项 所述的模型训练方 法。 10.一种计算机可读存储介质， 存储有计算机程序， 其特征在于， 所述计算机程序被处 理器执行时实现权利要求1至 6中任一项所述的模型训练方法。权　利　要　求　书 2/2 页 3 CN 114239848 A 3