(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210524307.6 (22)申请日 2022.05.13 (71)申请人 电子科技大 学 地址 611731 四川省成 都市高新区 （西区） 西源大道 2006号 (72)发明人 殷光强　王治国　 米尔卡米力江 ·亚森　李超　 丁玉峰　 (74)专利代理 机构 成都天嘉专利事务所(普通 合伙) 5121 1 专利代理师 彭红艳 (51)Int.Cl. G06F 9/50(2006.01) G06N 7/00(2006.01) G06V 10/96(2022.01)G06V 10/94(2022.01) G06V 10/82(2022.01) G06V 10/774(2022.01) G06N 3/10(2006.01) G06N 3/08(2006.01) G06N 3/04(2006.01) (54)发明名称 一种基于嵌入式的分布式深度学习模型资 源弹性调度方法 (57)摘要 本发明涉及嵌入式模 型资源调度技术领域， 特别是涉及一种基于嵌入式的分布式深度学习 模型资源弹性调度方法， 包括构建计算精度和计 算延迟的复合奖励模型、 构建非受限马尔可夫决 策过程以及利用深度确定性策略算法动态求解 最优弹性调度策略； 分布式深度学习技术完成深 度学习任务的动态分配， 构建以计算服务延迟和 模型精度为核心的参量， 并采用马尔可夫决策过 程对问题建模， 使用Lyapu nov优化将其转化为无 约束的马尔可夫奖励过程之后， 通过强化学习中 的深度确定性策略梯度算法实现深度学习任务 的动态分配过程。 通过本调度方法， 能有效解决 大规模深度学习算法在单个嵌入式设备中部署 困难的问题， 保证深度学习算法在嵌入式设备中 的快速运行。 权利要求书4页 说明书10页 CN 115016932 A 2022.09.06 CN 115016932 A 1.一种基于嵌入式的分布式深度学习模型资源弹性调度方法， 其特征在于： 包括构建 计算精度和计算延迟的复合奖励模型、 构建非受限马尔可夫决策过程以及利用深度确定性 策略算法动态求 解最优弹性调度策略； 其中， 构建计算精度和计算延迟的复合奖励模型指： 通过对本地计算和任务卸载时的 精度和延时参数建立模型， 从而构建马尔可 夫决策过程中的奖励函数； 所述构建非受限马尔可夫 决策过程指： 将采样率、 任务卸载和边缘计算位置作为行动， 将本地计算队列和边缘计算队列的积压量、 信道状态以及原始数据大小作为状态， 将最小 化计算服务延迟作为奖励， 构建受限马尔可夫决策过程， 并采用Lyapunov优化方法进行转 化， 构建准确 性队列来形容计算服务精度的长期表现， 引导深度强化学习网络倾向于满足 长期的精度约束， 得到转 化后的非受限马尔可 夫决策过程， 即： 行动： 包括采样率的选择， 任务卸载和边 缘计算资源的分配， 描述 为： 状态： 包括本地计算时队列中积压的任务 边缘计算设备中积压的任务 信道状 态 计算任务中的原 始数据大小 描述为： 奖励： 最小化计算 服务的延迟， 描述 为： 概率转移函数： 非受限马尔科 夫决策过程P1为： P1: 其中， Xt为t时刻的采样率决策矩阵， ot代表t时刻的任务卸载决策向量， ct为边缘计算 资源分配向量， 为t时刻的状态， 为t时刻的精度值队列； 为第m个计算服务的精度阈 值， Am(Xt,ot)为第m个 计算服务在t时刻的精度， D(Xt,ot,ct)为t时刻的计算 服务延迟； 所述利用深度确定性策略算法动态求解最优弹性调度策略指： 采用深度确定性策略梯 度算法， 实现采样率、 任务卸载和边 缘计算位置的动态调整。 2.根据权利要求1所述的一种基于嵌入式的分布式深度学习模型资源弹性调度方法， 其特征在于： 所述t时刻的计 算服务延迟D(Xt,ot,ct)和第m个计 算服务在t时刻的精度Am(Xt, ot)的计算方法为： 令分布式深度学习模型有N个边缘计算设备， M个服务器计算节点， 系统的时间划分为 长度为τ 的时隙， 各时隙由t∈{1,2,...,T}时刻表 示， 每一时刻边缘设备接收到的图像数据 都被看作单个计算任务， 选择被卸载至远端计算节 点或者直接在本地进 行处理； 令ot∈RN×1 代表t时刻的卸载决策向量， 表示t时刻的任务卸载至第n个边缘计算设备， 则表 示该计算任务在本地执行； 令 表示t时刻第n个设备接收到的原始的数据量， K＝{θ1,权　利　要　求　书 1/4 页 2 CN 115016932 A 2θ2,..., θK}表示参考采样率， 其中θK为原始采样率， 其余采样率以原始采样率 成比例线性分 布 θk＝kθK/K， Xt为t时刻的采样率决策矩阵， 其元 素 表示t时刻n设备采用 θk采样率； t时刻的计算 服务延迟D(Xt,ot,ct)为： 第m个计算服务在t时刻的精度Am(Xt,ot)为： 其中， 为设备的延迟排队延迟和任务处理延迟， 为卸载过程中数据 在网络中的传 输时延， 为任务处理时延， 为处理积压的边缘节点中的任务的排队时延， 为边缘 计算设备n任务完成前， 所有新到达任务的平均等待延迟； u(x)为阶跃函数， ωp>0为队列溢 出的惩罚系数， 为在设备n中本地计算抛弃的任务， 为m边缘计算设备抛弃的任务； hm,c为压缩后的神经网络推断精度， hm,u为未被压缩的推断精度。 3.根据权利要求2所述的一种基于嵌入式的分布式深度学习模型资源弹性调度方法， 其特征在于： 当受压缩的数据在本地进行处 理时， 设备的延迟排队延迟和任务处 理延迟 为： 其中， 为t时刻n设备的任务量； fn为第n个边缘计算设备的CPU频率， ηm,c表示精度压缩后的DNN对于第m个服务器的计算强度， Bnt表示本地计算队列当中积压的 计算任务， 根据以下 方法更新： 其中， 为本地计算队列的最大值， 计算任务超过的部分则会直接丢弃； 在设备n中 本地计算抛 弃的任务 为： 当任务卸载至服务器时， 令 为t时刻第n个边缘计算设备任务卸载至服务器时的网络 传输速率， 则卸载 过程中数据在网络中的传输时延 为： 令 表示计算任务卸载到第m个服 务器的比例， 则任务处 理时延 为： 权　利　要　求　书 2/4 页 3 CN 115016932 A 3