(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210482371.2 (22)申请日 2022.05.05 (71)申请人 武汉理工大 学 地址 430070 湖北省武汉市洪山区珞狮路 122号 (72)发明人 邹承明　许旭如　 (74)专利代理 机构 武汉科皓知识产权代理事务 所(特殊普通 合伙) 42222 专利代理师 肖明洲 (51)Int.Cl. G06F 9/50(2006.01) (54)发明名称 异构CPU集群 分布式实时处理系统的调度装 置及方法 (57)摘要 本发明公开了一种异构CPU集群 分布式实时 处理系统的调度装置及方法， 首先 获取集群中每 个工作节 点的计算能力； 然后集群调度器根据任 务拓扑信息， 以及工作节点的计算能力向工作节 点分配数据产生单元和数据处理单元,根据工作 节点运行数据处理单元测试实例获得的实际运 行时间计算该数据处理单元的权重得分， 并添加 数据产生单元和数据处理单元的目的数据处理 单元信息； 工作节点处理完的流数据通过本节点 管理器按照目的数据处理单元的权重得分随机 选择2个单元进行采样， 根据采样信息计算负载 大小， 并向负载较小的目的数据处理单元发送流 数据。 本发 明可以更高效地将任务负载均衡地分 配到各个算力不同的异构工作节 点中， 高效地利 用异构CPU集群资源。 权利要求书2页 说明书6页 附图4页 CN 114860442 A 2022.08.05 CN 114860442 A 1.一种异构CPU集群分布式实时处理系统 的调度装置， 其特征在于： 包括集群调度器和 节点管理器； 所述集群调度器， 用于调度分配任务拓扑中所有数据产生单元和数据处理单元， 记录 保存所有工作节点的状态和计算能力以及数据产生单元和数据处理单元的调 度记录； 具体 包括以下模块： 第一模块， 用于与集群中的所有工作节点进行网络通信； 第二模块， 用于保存工作节点的状态以及数据 产生单元和数据处 理单元的分配记录； 第三模块， 用于计算所有数据 产生单元和数据处 理单元的分配结果； 所述节点管理器， 用于管理本工作节点内的所有数据产生单元和数据处理单元的运 行， 将数据产生单元产生的流数据和数据处理单元 处理后的流数据发往下一个目的数据处 理单元； 具体包括以下模块： 第四模块， 用于与集群调度器和其 他节点管理器进行网络通信； 第五模块， 用于处 理运行本 工作节点分配到的数据 产生单元和数据处 理单元； 第六模块， 用于收集本节点产生的流数据并发往合 适的下一个目的数据处 理单元。 2.一种异构CPU集群分布式实时处 理系统的调度方法， 其特 征在于， 包括以下步骤： 步骤1： 获取集群中每 个工作节点的计算能力； 步骤2： 集群调度器根据任务拓扑信 息， 以及工作节点的计算能力向工作节点分配数据 产生单元和数据处 理单元； 步骤3： 工作节点 运行集群调度器分配的数据处 理单元测试实例获得其实际运行时间； 步骤4： 集群调度器根据工作节点中数据处理单元的实 际运行时间计算该数据处理单 元的权重得分， 并添加数据 产生单元和数据处 理单元的目的数据处 理单元信息； 步骤5： 工作节点中数据产生单元产生的流数据或者数据处理单元处理完的流数据通 过本节点管理器按照目的数据处理单元的权重得分随机选择2个目的数据处理单元进 行采 样， 获得目的数据处 理单元的流数据等待队列长度； 步骤6： 节点管理器根据 所述等待队列长度计算目的数据处理单元的负载大小， 并向负 载较小的目的数据处 理单元发送流数据。 3.根据权利要求2所述的异构CPU集群分布式实时处理系统的调度方法， 其特征在于： 步骤1中， 首先工作节点资源初始化， 配置本节点管理器的IP地址和端口号， 根据配置文件 和本节点CPU核心数配置本节点的数据产生单元和数据处理单元插槽数， 根据数据处理单 元插槽数为每个数据处理单元初始 化一个流数据接收队列， 计算本节 点CPU的算力得分； 工 作节点将本节点资源信息通过网络发送给集群调 度器， 集群调 度器维护一个工作 节点信息 链表， 并将接收到的工作节点资源信息按照CPU算力得分从小到大的顺序插入链表中； 其 中， CPU的算力得分为工作节点在单一核心上运行benc hmark作业获得的得分。 4.根据权利要求2所述的异构CPU集群分布式实时处理系统的调度方法， 其特征在于： 步骤2中所述任务拓扑信息， 包含若干种数据产生单元和数据处理单元； 每种数据产生单元 和数据处理单元的并行度， 即该种数据产生单元或数据处理单元在整个集群中存在的数 量； 每种数据处 理单元的上级路径信息； 每种数据处 理单元的算力约束条件。 5.根据权利要求2所述的异构CPU集群分布式实时处理系统的调度方法， 其特征在于： 步骤3中， 工作 节点管理器接收到集群调 度器发送的工作 节点信息， 其中包括数据产生单元权　利　要　求　书 1/2 页 2 CN 114860442 A 2和数据处理单元 的分配结果； 工作节点管理器遍历包含分配结果的数组， 将其放入未使用 的单元插槽中， 运行其测试实例并计算 其运行时间。 6.根据权利要求2所述的异构CPU集群分布式实时处理系统的调度方法， 其特征在于： 步骤4中所述数据 处理单元 的权重得分， 为同一种类所有并行数据 处理单元之间的相对得 分， 与其他种类数据处理单元无关； 同一种类的所有 数据处理单元中， 选择运行时间最长的 数据处理单元作为基准数据处理单元， 其权重得分为 1， 其余数据处理单元的权重得分为当 前数据处理单元的运行时间与基准数据处 理单元运行时间的比值。 7.根据权利要求2所述的异构CPU集群分布式实时处理系统的调度方法， 其特征在于： 步骤5中， 节点管理器按照目的数据处理单元的权重得分随机选择2个目的数据 处理单元， 为根据数据处理单元权重得分大小选择， 得分越高， 被选择的概率越 大； 假设同一种类所有 并行数据处理单元的权重得分之和为Sn， 其中一数据处理单元的权重得分为Si， 则该数据 处理单元被选择的概 率Pi＝Si/Sn。 8.根据权利要求2 ‑7任意一项所述的异构CPU集群分布式实时处理系统 的调度方法， 其 特征在于： 步骤6中， 数据处理单元的负载大小值是该数据处理单元等待队列长度值与该数 据处理单元权重得分的比值。权　利　要　求　书 2/2 页 3 CN 114860442 A 3