(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111485193.0 (22)申请日 2021.12.07 (71)申请人 北京奇艺世纪科技有限公司 地址 100089 北京市海淀区海淀北一 街2号 10层、 11层 (72)发明人 张磊　 (74)专利代理 机构 北京细软智谷知识产权代理 有限责任公司 1 1471 代理人 葛钟 (51)Int.Cl. G06F 8/60(2018.01) G06F 9/50(2006.01) G06N 20/00(2019.01) (54)发明名称 模型部署处理方法、 装置、 电子设备及存储 介质 (57)摘要 本申请涉及模型部署处理方法、 装置、 电子 设备及存储介质， 属于服务器部署模型技术领 域。 本申请包括： 获取表征多模型数据处理的有 向图以及服务器所能提供的资源， 利用有向图中 模型计算所需资源和模型间通信开销， 对有向图 进行分割处理， 得到目标分割结果， 对于目标分 割结果中各子图所对应的模型集合， 在模型集合 计算所需资源 得到服务器提供的基础上， 模型集 合间的通信开销整体最小； 基于目标分割结果， 确定多模型部署所需服务器并为服务器分配模 型集合。 通过本申请， 有助于实现将多模型拆分 部署于不同服务器下时服务器的整体性能达到 最优。 权利要求书2页 说明书10页 附图4页 CN 114138284 A 2022.03.04 CN 114138284 A 1.一种模型部署处 理方法， 其特 征在于， 所述方法包括： 获取表征多模型数据处理的有向图， 以及获取服务器所能提供的资源， 所述有向图中， 节点指示模型， 节点配置的信息包括模型计算所需资源， 节点间的有向边方向指示模型间 调用关系， 有向边配置的信息包括模型间通信开销； 利用所述模型计算所需资源和所述模型间通信开销， 对所述有向图进行分割处理， 得 到目标分割 结果， 对于所述 目标分割 结果中各子图所对应的模型集合， 在模型集合计算所 需资源得到服 务器提供的基础上， 模型集 合间的通信开销整体最小； 基于所述目标分割结果， 确定所述多模型部署所需服务器， 并为服务器分配所述目标 分割结果中子图所对应的模型集 合。 2.根据权利要求1所述的方法， 其特征在于， 所述利用所述模型计算所需资源和所述模 型间通信开销， 对所述有向图进行分割处 理， 得到目标分割结果， 包括： 从最少子 图分割数量开始， 每一个子 图分割数量下， 利用第一参数对所述有向图进行 分割， 当得到候选分割结果时， 针对所述候选 分割结果中各子图所对应的模型集合， 利用第 二参数进 行确认， 直至确认得到所述目标分割结果； 其中， 所述第一参数和所述第二参数两 者中， 一者为所述模型计算所需资源， 另一 者为所述模型间通信开销。 3.根据权利要求2所述的方法， 其特征在于， 所述第一参数为所述模型间通信开销， 所 述第二参数为所述模型计算所需资源； 任意一个子 图分割数量下， 利用第一参数对所述有向图进行分割， 当得到候选分割结 果时， 针对所述 候选分割结果中各子图所对应的模型集 合， 利用第二 参数进行确认， 包括： 以模型集 合间的通信开销之和为 通信开销参数； 任意一个子 图分割数量下， 按所述通信开销参数由小到大的顺序， 依次对所述有向图 进行分割， 每当得到所述候选分割 结果时， 针对所述候选分割 结果中各子图所对应的模型 集合， 判断模型集合计算所需资源是否能得到服务器提供， 若能， 则确定得到所述目标分割 结果。 4.根据权利要求2所述的方法， 其特征在于， 所述第一参数为所述模型计算所需资源， 所述第二 参数为所述模型间通信开销； 利用第一参数对所述有向图进行分割， 当得到候选分割结果时， 针对所述候选分割结 果中各子图所对应的模型集 合， 利用第二 参数进行确认， 包括： 任意一个子图分割数量下， 基于分割出的子图所对应的模型集合计算所需资源需得到 服务器提供， 根据所述有向图确定是否能得到所述 候选分割结果； 若能， 将模型集合间的通信开销之和最小的所述候选分割结果， 确定为所述目标分割 结果。 5.根据权利要求1所述的方法， 其特征在于， 所述获取表征多模型数据处理的有向图， 包括： 获取针对所述多模型的配置信息， 所述配置信息包括模型调用关系配置信息、 模型计 算所需资源配置信息和模型间通信开销配置信息； 利用所述配置信息， 构建并获取表征 所述多模型 数据处理流向的所述有向图。 6.根据权利要求1所述的方法， 其特 征在于， 所述方法还 包括： 将所述目标分割结果中各子图所对应的模型集 合部署于对应的服 务器。权　利　要　求　书 1/2 页 2 CN 114138284 A 27.根据权利要求1 ‑6任一项所述的方法， 其特 征在于， 所述方法还 包括： 确定服务器是否能够提供 所述多模型整体 计算所需资源； 若不能够， 则执行步骤所述利用所述模型计算所需资源和所述模型间通信开销， 对所 述有向图进行分割处 理， 得到目标分割结果； 若能够， 则将所述多模型整体部署于服 务器。 8.一种模型部署处 理装置， 其特 征在于， 所述装置包括： 获取模块， 用于获取表征多模型数据处理 的有向图， 以及获取服务器所能提供的资源， 所述有向图中， 节 点指示模型， 节点配置的信息包括模型计算所需资源， 节点间的有向边方 向指示模型间调用关系， 有向边配置的信息包括模型间通信开销； 分割得到模块， 用于利用所述模型计算所需资源和所述模型间通信开销， 对所述有向 图进行分割处理， 得到目标分割结果， 对于所述目标分割结果中各子图所对应的模型集合， 在模型集 合计算所需资源得到服 务器提供的基础上， 模型集 合间的通信开销整体最小； 分配模型模块， 用于基于所述目标分割结果， 确定所述多模型部署所需服务器， 并为服 务器分配所述目标分割结果中子图所对应的模型集 合。 9.一种电子设备， 其特 征在于， 包括： 一个或者多个存 储器， 其上存 储有可执行程序； 一个或者多个处理器， 用于执行所述存储器 中的所述可执行程序， 以实现权利要求1 ‑7 任一项所述方法的步骤。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质上存储计算机程 序， 所述计算机程序被处 理器执行时实现如权利要求1 ‑7中任一项所述方法的步骤。权　利　要　求　书 2/2 页 3 CN 114138284 A 3