(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210392907.1 (22)申请日 2022.04.14 (65)同一申请的已公布的文献号 申请公布号 CN 114675956 A (43)申请公布日 2022.06.28 (73)专利权人 三峡智控科技有限公司 地址 430000 湖北省武汉市洪山区书 城路 36号北港村工业园四层 (72)发明人 尹立超　乐绪鑫　陈绪鹏　柳炀　 (74)专利代理 机构 武汉宇晨专利事务所(普通 合伙) 42001 专利代理师 庞宽 (51)Int.Cl. G06F 9/48(2006.01) G06F 9/50(2006.01)G06F 9/455(2006.01) (56)对比文件 CN 112015536 A,2020.12.01 CN 111966453 A,2020.1 1.20 CN 112995303 A,2021.0 6.18 CN 109783218 A,2019.0 5.21 WO 2011000199 A1,201 1.01.06 CN 113553140 A,2021.10.26 审查员 崔鑫彤 (54)发明名称 一种基于 Kubernetes集群之间Pod配置及调 度的方法 (57)摘要 本发明公开了一种基于Kubernetes集群之 间Pod配置及调度的方法， 在组网上建立跨多个 集群的调度集群， 对Pod运行的服务与其他Pod运 行的服务进行业务特征上的关联并汇集成Pod集 合， 对Pod运行的服务与当前Pod集合的服务与业 务上间接有关联的Pod重新生成关联Pod集合， 并 过调用程序将Pod集合及其关联Pod集合迁移到 最优集群 。 权利要求书1页 说明书4页 附图1页 CN 114675956 B 2022.08.30 CN 114675956 B 1.一种基于Kubernetes集群之间Pod配置及调节的方法， 其特 征在于， 包括： 步骤1.1， 在中央组网服务器上创建一个基于Kubernetes的调度 集群， 在此集群上部署 调度程序、 分析数据库和实时监控数据库； 所述调度程序负责记录每个Pod或Pod集合在同 一组网内跨集群部署及调度过程的行为； 所述 实时监控数据库负责实时监控每个Pod或Pod 集合的运行状态及资源占用量Z： CPU占用率、 内存使用率、 磁盘IO和网络IO资源占用量， 在 资源占用量Z超过告警阈值Y时上报告警； 所述分析数据库负责记录每个Pod或Pod集合的运 行状态及资源占用情况， 为Pod集 合选择最佳集群宿主提供基础数据； 步骤1.2， 在同一组网内建立多个基于Kubernetes的业务集群， 所述业务集群与中央组 网服务器和调度集群互通； 步骤1.3， 在调度集群中创建全部需要在组网内部署的Pod； 步骤1.4， 由调度程序按照跨Kubernetes集群的调度算法将Pod调度到合适的Node节点 上， 所述跨Kubernetes集群的调度算法， 包括： 步骤2.1， 分析调度 集群的Master主节点的日志， 对Pod运行的服务与其他Pod运行的服 务进行业 务特征上的关联并汇集成Pod集 合； 步骤2.2， 选择一个业务集群作为目的集群， 通过调度程序将Pod集合从调度集群移植 到目的集群的Node节点， 并将Pod集合中的Pod运行起来提供正常服务； 同时通过调度程序 记录Node节点上Pod集合在目的集群运行时的资源占用量Z： CPU占用率、 内存使用率、 磁盘 IO和网络IO资源占用量； 同时将目的集群Master节点上记录的Pod集合的运行状态存储到 调度集群的分析 数据库中， Pod集 合的运行状态包括： 正常状态标识= 0、 异常=1； 步骤2.3， 重复执行步骤2.2的操作， 将Pod集合部署到下一个业务目的集群， 直到将组 网内全部目的集群遍历一遍， 完成整个组网内跨调度集群 配置调度流 程； 步骤2.4， 分析调度 集群Master主节点的日志， 若Pod运行的服务与当前Pod集合的服务 或业务上间接有关联， 则将该Po d列入关联Po d集合； 按步骤2.2~2.3测试并记录Pod集合及 其关联Pod集合一起移植到目的集群后， 在Nod节点和Master节点上的资源占用量Z和运行 状态； 步骤2.5、 重复执行步骤2.1~步骤2.4的操作， 直到将调度 集群中所有分类的Pod集合全 部执行， 完成Pod集 合在所有目的集群的数据收集 流程； 步骤2.6、 通过分析数据库中存储 的每个Pod集合及每个关联Pod集合在各目的集群的 资源占用量Z： CPU占用率、 内存使用率、 磁盘IO和网络IO资源占用量及运行状态， 同时通过 实时监控 数据库获取资源占用量Z与告警阈值Y的差值C， 若C为负数， 标记每个Pod集合及每 个关联Pod集合在各目的集群中的等级D， D=C/(Y*10%)， 将等级D最小的目的集群作为Pod集 合及关联Pod集 合的最优目的集群； 步骤2.7、 通过调度程序将所有Pod集 合及其关联Pod集 合部署到他们的最优目的集群。权　利　要　求　书 1/1 页 2 CN 114675956 B 2一种基于Kuber netes集群之间Pod配置及调度的方 法 技术领域 [0001]本发明涉及云计算领域， 尤其涉及一种基于Kubernetes集群之间Pod配置及调度 的方法。 背景技术 [0002]Kubernetes是一个开源的系统， 主要用于集群中跨主机的集成应用的管理。 Kubernetes的一个核心的特性是它动态地管理着容器来保证集群的状态是满足用户需求 的。 Pod是集群当中调度和管理的最小单元， 所有的容器都在Pod里面运行， 每个Pod里可以 运行一到多个容器。 每个集群都由控制节点Master和Node节 点所组成。 Scheduler （调度器） 的核心是如何从集群中选择合 适的Node节点分配给待调度Pod。 [0003]当前kubernetes的资源调度算法大多对Node节点进行评分划分优先级， 如内置的 LeastRequested、 Priority算 法， 公开专利CN106027643A 。 该算法不考虑Node节点的实际资 源使用情况， 也没有考虑不同业务对资源需求的差异性； Kubernetes内置的优先级抢占的 调度策略可能会导致某些Pod永远无法被成功调 度， 且抢占过程中资源安排不合理。 这 都会 导致Node节点的其他纬度的资源不能被充分的使用， 从而产生大量的资源碎片， 造成资源 的浪费。 [0004]随着数字化发展的逐渐深入， 各单位在运设备逐渐增加， 相较于十年前设备增长 10~100倍， 即便运维已经在从手工运维向工具运维和平台运维发展， 但仍然无法满足当前 集群对运维管理要求、 高效调度 处理及数据备份的功能、 在庞大 的机房运维场景下集群业 务规模大， 应用关系复杂， 依赖层次多， 排查问题困难、 主机管理Kubernetes集群的方式不 能满足跨Kubernetes集群管理需求 等技术问题。 发明内容 [0005]针对以上问题， 本发明提出一种基于Kubernetes集群之间Pod配置及调度的方法， 为集群Pod 的跨集群备份， 集群之 间业务数据交互， 及集群资源灵活配置及调度提供了一种 可行性方法。 [0006]一种基于Kubernetes集群之间Pod配置及调节的方法， 包括： [0007]步骤1.1， 在中央组网服务器上创建一个基于Kubernet es的调度集群， 在此集群上 部署调度程序、 分析数据库和实时监控数据库； 所述调度程序负责记录每个Pod或Pod集合 在同一组网内跨集群部署及调度过程的行为； 所述实时监控数据库负责实时监控每个Pod 或Pod集合的运行状态及资源占用量Z： CPU占用率、 内存使用率、 磁盘IO和网络IO资源占用 量， 在资源占用量Z超过告警阈值Y时上报告警； 所述分析数据库负责记录每个Pod或Pod集 合的运行状态及资源占用情况， 为Pod集 合选择最佳集群宿主提供基础数据； [0008]步骤1.2， 在同一 组网内建立多个基于Kubernetes的业务集群， 所述业务集群与中 央组网服 务器和调度集群互通； [0009]步骤1.3， 在调度集群中创建全部需要在组网内部署的Pod；说　明　书 1/4 页 3 CN 114675956 B 3