(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210487185.8 (22)申请日 2022.05.06 (71)申请人 苏州国科综合数据中心有限公司 地址 215000 江苏省苏州市工业园区星湖 街328号创意产业园A 2幢 (72)发明人 徐恩格　易寅辉　单晓冬　蒋鹏飞　 鲍复劼　 (74)专利代理 机构 北京同恒源知识产权代理有 限公司 1 1275 专利代理师 廖曦 (51)Int.Cl. G06F 9/50(2006.01) G06N 3/04(2006.01) G06N 3/063(2006.01) (54)发明名称 基于LSF的多主机多GPU分布式布置深度学 习模型的方法 (57)摘要 本发明涉及一种基于LSF的多主机多GPU分 布式布置深度学习模型的方法， 属于计算机领 域。 该方法包括以下步骤： S1： 资源申请及调度； S2： 使用资源进行深度学习模型的训练。 S1在LSF 集群下完成， 通过LSF的指令申请计算 资源， 然后 在发送任务时使用blaunch指令， 使作业得以发 送到多台主机。 计算资源包括： 需要创建的作业 总数， 等于申请的GPU总数； 单台主机的图形处理 器GPU个数； 每台主机 上的作业数， 不超 过单台主 机的GPU个数。 在LSF集群 下， 实现了多主机多GPU 分布式布置深度学习模型。 这使得用户可以同时 使用更多GPU处理同一训练任务。 减少训练集数 据较大时模型的训练时间。 权利要求书2页 说明书5页 附图1页 CN 114968559 A 2022.08.30 CN 114968559 A 1.基于LSF的多主机多GPU分布式布置深度学习模型的方法， 其特征在于： 该方法包括 以下步骤： S1： 资源申请及调度； S2： 使用资源进行深度学习模型的训练。 2.根据权利要求1所述的基于LSF的多主机多GPU分布式布置深度学习模型的方法， 其 特征在于： 所述S1在LSF集群下完成， 通过LSF的指 令申请计算资源， 然后在发送任务时使用 blaunch指令， 使作业得以发送到多台主机 。 3.根据权利要求2所述的基于LSF的多主机多GPU分布式布置深度学习模型的方法， 其 特征在于： 所述计算资源 包括： 需要创建的作业总数， 等于申请的GPU总数； 单台主机的图形处 理器GPU个数； 每台主机上的作业数， 不超过 单台主机的GPU个数。 4.根据权利要求2所述的基于LSF的多主机多GPU分布式布置深度学习模型的方法， 其 特征在于： 所述S2在程序内部实现， 具体包括以下步骤： S21： 每个LSF作业独占一个进程和GPU， 深度学习模型基于pytorch框架， 每个作业从环 境中读取'LSF_PM_TASKID'作为每 个任务的进程ran k； S22： 使用torch.distributed库初始化分布式进程组， 参数包括进程rank， 进程总数 world_size， 发现其他进 程的地点和方式init _method， 以及使用的后端通信方法backend； 使用nccl作为通信后端； S23： 读取训练用数据集； 数据集能够pytorch切分， 通过设置num_replicas为world_ size及rank为当前进程的rank， 使每个进程获取相应的数据切片； num_replicas是数据切 片方法的一个参数， 用于指定切片的个数 如果使用DistributedSampler进行数据切 片， 那么每个进程上训练的批的尺寸需除以 进程总数； DistributedSampler是Dataloader方法的一个参数， 用于指定用来读取数据的 子进程的个数； 使用torc h.utils.data.DataL oader进一 步读取每 个数据切片上 数据； 其中num_workers设为大于1的数用于开启子进程加快数据读取速度， pin_memory设为 True用于将数据直接读到进程所独占的GPU上， 减少数据在传输时的耗时； pin_memory是 Dataloader方法的一个参数， 用于指定是否使用锁页内存的方式读取 数据； S24： 构建模型并使用torc h.nn.parallel.Dist ributedDataParal lel包裹模型； S25： 训练模型； 在参数更新前使用全局归约All  reduce方法同步不同主机上不同进程 的梯度； 基于数据并行， 为每一块需要训练的数据切片分配一块GPU， 并通过单独的一个进程进 行控制； LSF系统将深度学习任务以作业的形式复制并发送到多台主机上， 并为每一个任务 单独开辟一个进程， 不同进程内的任务彼此 是并行的。 5.一种计算机系统， 包括存储器、 处理器及储存在存储器上并能够在处理器上运行的 计算机程序， 其特征在于： 所述处理器执行所述计算机程序时实现如权利要求 1‑4任一项所 述的方法。 6.一种计算机可读存储介质， 其上储存有计算机程序， 其特征在于： 所述计算机程序被权　利　要　求　书 1/2 页 2 CN 114968559 A 2处理器执行时实现如权利要求1 ‑4任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 114968559 A 3