(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210399055.9 (22)申请日 2022.04.15 (71)申请人 北京百度网讯科技有限公司 地址 100085 北京市海淀区上地十街10号 百度大厦2层 (72)发明人 吴华超　沈亮　巩伟宝　吴志华　 (74)专利代理 机构 北京品源专利代理有限公司 11332 专利代理师 马迪 (51)Int.Cl. G06N 3/04(2006.01) G06N 20/00(2019.01) G06N 3/08(2006.01) G06F 9/48(2006.01) G06F 9/50(2006.01) (54)发明名称 基于分布式训练的数据处理方法、 装置、 电 子设备和介质 (57)摘要 本公开提供了一种基于分布式训练的数据 处理方法、 装置、 电子设备和介质， 涉及计算机技 术领域， 尤其涉及深度学习、 分布式训练及云服 务技术领域。 具体实现方案为： 分别获取当前计 算节点中至少两个网络层各自的待处理数据； 控 制所述网络层对 各自的待处理数据进行处理， 得 到所述网络层各自的数据处理状态和各自的数 据处理结果； 在任一网络层自身的数据处理状态 为处理完成的情况下， 从当前计算节 点中输出该 网络层自身的数据处理结果。 本公开实现了减少 计算节点输出数据处理结果所需时间的效果， 提 高了计算节点输出 数据处理结果的效率。 权利要求书2页 说明书12页 附图4页 CN 114792125 A 2022.07.26 CN 114792125 A 1.一种基于分布式训练的数据处 理方法， 包括： 分别获取当前计算节点中至少两个网络层各自的待处 理数据； 控制所述网络层对各自的待处理数据进行处理， 得到所述网络层各自的数据处理状态 和各自的数据处 理结果； 在任一网络层自身的数据处理状态为处理完成的情况下， 从当前计算节点中输出该网 络层自身的数据处 理结果。 2.根据权利要求1所述的方法， 其中， 所述分别获取当前计算节点中至少两个网络层各 自的待处 理数据， 包括： 获取为所述当前计算节点分配的至少两条候选数据， 并确定各所述候选数据的候选数 据类型； 确定任一所述网络层负责处理 的目标数据类型， 并将所述目标数据类型与 各所述候选 数据的候选数据类型进行匹配； 根据匹配结果从所述 候选数据中确定该网络层自身的待处 理数据。 3.根据权利要求2所述的方法， 其中， 所述根据匹配结果从所述候选数据中确定该网络 层自身的待处 理数据， 包括： 确定与所述目标数据类型相匹配的候选数据类型， 并将所述候选数据类型关联的候选 数据作为该网络层自身的待处 理数据。 4.根据权利要求2所述的方法， 其中， 所述获取为所述当前计算节点分配的至少两条候 选数据， 包括： 根据所述当前计算节点中至少两个网络层负责处理的数据类型， 生成数据获取请求， 并将所述数据获取请求发送至数据分配节点， 使得所述数据分配节点根据所述数据类型为 所述当前计算节点分配候选数据。 5.根据权利要求1所述的方法， 其中， 所述从当前计算节点中输出该网络层自身的数据 处理结果， 包括： 确定该网络层自身的待处理数据所属的数据持有节点， 并将所述数据处理结果发送至 所述数据持有节点， 使得 所述数据持有节点 根据所述数据处 理结果继续进行处 理。 6.根据权利要求5所述的方法， 其中， 所述将所述数据处理结果发送至所述数据持有节 点， 包括： 将所述数据处理结果输入至数据传输队列中， 并根据所述数据处理结果位于所述数据 传输队列中的位置， 控制所述数据处 理结果发送至所述数据持有节点。 7.根据权利要求6所述的方法， 其中， 所述根据所述数据处理结果位于所述数据传输队 列中的位置， 控制所述数据处 理结果发送至所述数据持有节点， 包括： 在所述数据处理结果位于所述数据传输队列的队首时， 将所述数据处理结果发送至所 述数据持有节点。 8.一种基于分布式训练的数据处 理装置， 包括： 待处理数据获取模块， 用于分别获取当前计算节点中至少两个网络层各自的待处理数 据； 数据处理模块， 用于控制所述网络层对各自的待处理数据进行处理， 得到所述网络层 各自的数据处 理状态和各自的数据处 理结果；权　利　要　求　书 1/2 页 2 CN 114792125 A 2数据结果输出模块， 用于在任一网络层 自身的数据处理状态为处理完成的情况下， 从 当前计算节点中输出 该网络层自身的数据处 理结果。 9.根据权利要求8所述的装置， 其中， 所述待处 理数据获取模块， 具体用于： 获取为所述当前计算节点分配的至少两条候选数据， 并确定各所述候选数据的候选数 据类型； 确定任一所述网络层负责处理 的目标数据类型， 并将所述目标数据类型与 各所述候选 数据的候选数据类型进行匹配； 根据匹配结果从所述 候选数据中确定该网络层自身的待处 理数据。 10.根据权利要求9所述的装置， 其中， 所述待处 理数据获取模块， 具体还用于： 确定与所述目标数据类型相匹配的候选数据类型， 并将所述候选数据类型关联的候选 数据作为该网络层自身的待处 理数据。 11.根据权利要求9所述的装置， 其中， 所述待处 理数据获取模块， 具体还用于： 根据所述当前计算节点中所述网络层负责处理的数据类型， 生成数据获取请求， 并将 所述数据获取请求发送至数据分配节点， 使得所述数据分配节点根据所述数据类型为所述 当前计算节点分配候选数据。 12.根据权利要求8所述的装置， 其中， 所述数据结果输出模块， 具体用于： 确定该网络层自身的待处理数据所属的数据持有节点， 并将所述数据处理结果发送至 所述数据持有节点， 使得 所述数据持有节点 根据所述数据处 理结果继续进行处 理。 13.根据权利要求12所述的装置， 其中， 所述数据结果输出模块， 具体还用于： 将所述数据处理结果输入至数据传输队列中， 并根据所述数据处理结果位于所述数据 传输队列中的位置， 控制所述数据处 理结果发送至所述数据持有节点。 14.根据权利要求13所述的装置， 其中， 所述数据结果输出模块， 具体还用于： 在所述数据处理结果位于所述数据传输队列的队首时， 将所述数据处理结果发送至所 述数据持有节点。 15.一种电子设备， 包括： 至少一个处 理器； 以及 与所述至少一个处 理器通信连接的存 储器； 其中， 所述存储器存储有可被所述至少一个处理器执行的指令， 所述指令被所述至少一个处 理器执行， 以使所述至少一个处 理器能够执 行权利要求1 ‑7中任一项所述的方法。 16.一种存储有计算机指令的非瞬时计算机可读存储介质， 其中， 所述计算机指令用于 使所述计算机执 行根据权利要求1 ‑7中任一项所述的方法。 17.一种计算机程序产品， 包括计算机程序， 所述计算机程序在被处理器执行时实现根 据权利要求1 ‑7中任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 114792125 A 3