(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111460970.6 (22)申请日 2021.12.02 (71)申请人 国电南瑞科技股份有限公司 地址 211106 江苏省南京市江宁经济技 术 开发区诚信大道19号2幢 申请人 国网电力科 学研究院有限公司 　 国网河北省电力有限公司 　 国家电网有限公司 (72)发明人 杨立波　王宇冬　马斌　李一鹏　 栗维勋　袁龙　李昊　季学纯　 孙云枫　李佳阳　沈嘉灵　徐丽燕　 胡锐锋　劳莹莹　陈子韵　 (74)专利代理 机构 南京纵横知识产权代理有限 公司 32224 代理人 母秋松(51)Int.Cl. G06F 9/50(2006.01) G06N 20/00(2019.01) (54)发明名称 一种基于Kubernetes的多租户机器学习任 务资源调度方法 (57)摘要 本发明公开了一种基于Kubernetes的多租 户机器学习任务资源调度方法， 对不同用户可使 用的 算 力资 源 进 行 配 额 管 理 ， 同 时 监 测 Kubernetes平台中各Node节点 资源状态信息， 考 虑节点所在宿主机的资源利用率的问题， 避免出 现调度结果不准确的问题， 同时通过监测实时调 度和预调度request需求信息， 根据调度任务需 求信息对各Node节点进行优先级 排序， 获取最优 节点的主机标签， 根据标签对各类机器学习模型 训练与预测任务的资源需求进行合理分配。 本发 明有效的预防和减少Kubernetes平台中节点资 源使用的倾斜问题， 实现多节点负载均衡， 提高 节点资源的利用率。 权利要求书2页 说明书6页 附图2页 CN 114356543 A 2022.04.15 CN 114356543 A 1.一种基于Kubernetes的多租户机器学习任务资源调度方法， 其特征在于： 包括如下 步骤： 计算集群中Node节点已使用资源与已创建容器使用资源的差值， 得到Node节点操作系 统自身所有 进程占用的资源信息； 调用Kubernetes  API获取Node节点上所有机器学习模型训练与预测任务容器申请的 资源信息； 将Node节点固有资源容量减去Node节点操作系统自身所有进程占用的资源信息和 Node节点上所有机器学习模 型训练与预测任务容器申请的资源信息， 计算出Node节点实时 可用资源信息； 根据Node节点实时可用资源信息和Node节点固有资源容量， 计算Node节点CPU、 GPU和 内存的可用率； 系统集群资源管控服务预设资源阈值百分比， Node节点CPU、 GPU和内存的可用率不低 于预设资源阈值百分比的N ode节点为机器学习模型训练与预测任务分配算力资源； 机器学习任务调度服务将不同用户的机器学习模型训练与预测任务申请的CPU、 GPU和 内存资源数量发送至系统集群资源管控服 务； 系统集群资源管控服务通过计算多租户资源配额表、 用户资源使用情况表的资源差值 得到用户可申请剩余资源， 并校验机器学习模型训练与预测任务申请的CPU、 GPU和内存数 量是否超过用户可申请剩余资源； 选择未超过用户可申请剩余资源的Node节点， 系统集群资源管控服务将Node节点实时 可用资源信息与申请的CPU、 GPU和内存 数量计算差值， 除以Node节 点固有资源容量， 得到 分 配出资源后CPU、 GPU和内存所剩资源的百分比； 选择分配出资源后 CPU、 GPU和内存所剩资源的百分比大于预设资源阈值百分比的Node 节点， 将每个Node节 点的分配出资源后CPU、 GPU和内存 所剩资源的百分比进 行评分计算， 并 按评分从大到小 进行排序； 系统集群资源管控服务从序列中排序在前的Node节点为最优节点， 并将最优节点的节 点名返回给机器学习任务调度服 务， 并在用户资源使用情况表中进行持久化存 储； 机器学习任务调度服务动态生成Kubernetes  yaml文件， 调用Kubernetes  API在最优 节点中创建容器运行机器学习模型训练与预测任务。 2.根据权利要求1所述的一种基于Kubernetes的多租户机器学习任务资源调度方法， 其特征在于： 集群中每 个Kubernetes  Node节点上部署CPU、 GPU与内存使用情况采集 程序。 3.根据权利要求1所述的一种基于Kubernetes的多租户机器学习任务资源调度方法， 其特征在于： 集群中Node节 点固有资源容量将用户ID作为Kuber netes中的命名空间对虚拟 资源池进行逻辑划分与隔离 。 4.根据权利要求1所述的一种基于Kubernetes的多租户机器学习任务资源调度方法， 其特征在于： 多租户资源配额表如下 所示： 字段名 用途 user_id 与权限、 单点登录保持一 致的用户唯一 ID cpu_capacity CPU逻辑总核数 memory_capacity 内存总量(GB)权　利　要　求　书 1/2 页 2 CN 114356543 A 2gpu_capacity GPU卡数 storage_capacity 存储空间(GB) 。 5.根据权利要求1所述的一种基于Kubernetes的多租户机器学习任务资源调度方法， 其特征在于： 用户资源使用情况表如下 所示： 6.根据权利要求1所述的一种基于Kubernetes的多租户机器学习任务资源调度方法， 其特征在于： 通过Kuber netes的基于角色的访问控制对不同用户可操作的命名空间赋予访 问权限。 7.根据权利要求1所述的一种基于Kubernetes的多租户机器学习任务资源调度方法， 其特征在于： 所述Kubernetes集群包括以下组件： API  Server、 Controller  Manager、 Scheduler、 Kubelet、 Kube ‑proxy、 Etcd、 Co ntainer runtime。 8.根据权利要求1所述的一种基于Kubernetes的多租户机器学习任务资源调度方法， 其特征在于： 每 个Node节点的分配出资源后CPU、 GPU和内存所剩资源的 百分比进行评分计算的方法如下： Scorei＝request_cpu ×percent_cpui+request_gpu ×percent_gpui+request_mem × percent_memi 其中， Scorei为第i个Node节点的评分， percent_cpui、 percent_gpui、 percent_me mi分别 为第i个Node节点的分配出资源后CPU、 GPU和内存所剩资源的百分比， request_cpu、 request_gpu、 request_mem 分别为第i个N ode节点的申请的CPU、 GPU和内存数量。权　利　要　求　书 2/2 页 3 CN 114356543 A 3