(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111447012.5 (22)申请日 2021.11.30 (71)申请人 北京邮电大 学 地址 100876 北京市海淀区西土城路10号 (72)发明人 高志鹏　杨杨　芮兰兰　段应文　 赵晨　莫梓嘉　林怡静　 (74)专利代理 机构 北京金咨知识产权代理有限 公司 11612 代理人 宋教花 (51)Int.Cl. G06N 20/00(2019.01) G06N 3/08(2006.01) G06N 3/04(2006.01) G06F 21/62(2013.01) (54)发明名称 基于差分隐私法的联邦学习方法及装置 (57)摘要 本申请实施例提供基于差分隐私法的联邦 学习方法及装置， 其中的基于差分隐私法的联邦 学习方法包括： 基于当前接收的用于进行联邦学 习的多份训练数据中任一份对应的阶段完成信 号， 开始监测目标周期内的信号接收情况数据； 若监测到目标周期内的信号接收情况数据满足 预设的半同步训练规则， 则获取目标周期内接收 的各个阶段完成信号各自对应的阶段训练结果 数据， 并基于差分隐私法及各个阶段训练结果数 据训练目标模 型。 本申请能够在为目标模型的联 邦学习过程提供差分隐私保护的前提下， 有效避 免掉队者效应的干扰， 避免计算 资源的浪费并能 够提高目标模 型的收敛速度， 进而能够有效提高 目标模型的训练效率及应用及时性。 权利要求书2页 说明书16页 附图3页 CN 114358307 A 2022.04.15 CN 114358307 A 1.一种基于 差分隐私法的联邦学习方法， 其特 征在于， 包括： 基于当前接收的用于进行联邦学习的多份训练数据中任一份对应的阶段完成信号， 开 始监测目标周期内的信号接收情况 数据； 若监测到所述目标周期内的所述信号接收情况数据满足预设的半同步训练规则， 则获 取所述目标周期内接收的各个所述阶段完成信号各自对应的阶段训练结果数据， 并基于差 分隐私法及各个所述阶段训练结果数据训练目标模型。 2.根据权利要求1所述的基于差分隐私法的联邦学习方法， 其特征在于， 所述获取所述 目标周期内接收的各个所述阶段完成信号各自对应的阶段训练结果数据， 并基于各个所述 阶段训练结果数据训练目标模型， 包括： 获取所述目标周期内接收的各个所述阶段完成信号各自的阶段训练结果数据， 其中， 该阶段训练结果数据包括本地模型及模型 更新值； 根据目标周期的各个所述阶段训练结果数据分别获取各个所述本地模型各自的相对 陈旧值， 其中， 所述相对陈旧值为对应的本地模型在目标周期的总步长与目标模型 的步长 差之间的比值， 所述目标模型的步长差为所述目标模型在目标周期的总步长与前一周期的 总步长之间的差值； 基于差分隐私法、 各个所述本地模型各自对应的相对陈旧值和模型更新值训练所述目 标模型。 3.根据权利要求1所述的基于差分隐私法的联邦学习方法， 其特征在于， 在所述基于当 前接收的用于进 行联邦学习的多份训练数据中任一份对应的阶段完成信号， 开始监测目标 周期内的信号接收情况 数据之前， 还 包括： 向分布式设置的各个联邦学习参与节点分别发送相同的阶段训练次数阈值， 以使各个 所述联邦学习参与节点在各自基于本地训练数据训练本地模型的次数满足所述 阶段训练 次数阈值后， 发出对应的阶段完成信号并再次基于所述阶段训练 次数阈值进 行本地模型训 练。 4.根据权利要求1所述的基于差分隐私法的联邦学习方法， 其特征在于， 所述基于当前 接收的用于进 行联邦学习的多份训练数据中任一份对应的阶段完成信号， 开始 监测目标周 期内的信号接收情况 数据， 包括： 若接收到分布式设置的各个联邦学习参与节点中任意一个发送的阶段完成信号， 则以 该阶段完成信号作为当前目标周期的首个信号并开始监测目标周期 内的信号接 收情况数 据； 实时判断目标周期内的所述信号接收情况数据是否满足预设的半同步训练规则， 其 中， 所述半 同步训练规则包括： 目标周期 内接收的所述阶段完成信号的总 数已达到信号总 数阈值， 和/或， 目标周期的持续时间已到 达周期时长阈值。 5.根据权利要求2所述的基于差分隐私法的联邦学习方法， 其特征在于， 所述获取所述 目标周期内接 收的各个所述 阶段完成信号各自的阶段训练结果数据， 其中， 该阶段训练结 果数据包括本地模型及模型 更新值， 包括： 结束针对当前目标周期的监测； 基于预设的防信号丢失通信协议， 向在所述目标周期内发出各个所述阶段完成信号的 联邦学习参与节点分别发送阶段训练结果请求， 以使收到所述阶段训练结果请求的各个所权　利　要　求　书 1/2 页 2 CN 114358307 A 2述联邦学习参与节点分别基于所述防信号丢失通信协议发送各个所述 阶段完成信号各自 对应的本地模型； 接收各个所述本地模型， 并获取 各个所述本地模型 各自对应的模型 更新值。 6.根据权利要求2所述的基于差分隐私法的联邦学习方法， 其特征在于， 所述基于差分 隐私法、 各个所述本地模型 各自对应的相对陈旧值和模型 更新值训练所述目标模型， 包括： 获取各个所述本地模型 各自对应的二阶范 数； 根据各个所述本地模型各自对应的相对陈旧值和二阶范数， 分别生成各个所述本地模 型各自对应的全局敏感度； 基于各个所述本地模型各自对应的全局敏感度分别对各个所述本地模型各自对应的 模型更新值进行裁 剪， 并对各个经裁 剪后的模型 更新值进行聚合以得到模型 更新聚合 值； 基于差分隐私法， 在根据所述模型更新聚合值以及各个所述本地模型训练所述目标模 型的过程中设置高斯噪声， 并在该高斯噪声对应的隐私预算 为0时停止训练所述目标模型。 7.根据权利要求1至6任一项所述的基于差分隐私法的联邦学习方法， 其特征在于， 在 所述基于 差分隐私法及各个所述阶段训练结果数据训练目标模型之后， 还 包括： 判断所述目标模型当前是否已满足预设的收敛要求， 若否， 则重新接收多份训练数据 中任一份对应的阶段完成信号， 并开始针对新一轮的目标周期内的信号接收情况数据的监 测， 若监测到新一轮的目标周期内的所述信号接 收情况数据满足预设的半 同步训练规则， 则获取新一轮的目标周期内接收的各个所述阶段完成信号各自对应的阶段训练结果数据， 并基于差分隐私法及各个所述阶段训练结果数据再次训练目标模型。 8.一种基于 差分隐私法的联邦学习装置， 其特 征在于， 包括： 信号监测模块， 用于基于当前接收的用于进行联邦学习的多份训练数据中任一份对应 的阶段完成信号， 开始监测目标周期内的信号接收情况 数据； 半同步训练模块， 用于若监测到所述目标周期内的所述信号接收情况数据满足预设的 半同步训练规则， 则获取所述目标周期内接收的各个所述阶段完成信号各自对应的阶段训 练结果数据， 并基于 差分隐私法及各个所述阶段训练结果数据训练目标模型。 9.一种电子设备， 包括存储器、 处理器及存储在存储器上并可在处理器上运行的计算 机程序， 其特征在于， 所述处理器执行所述计算机程序时实现权利要求1至7任一项所述的 基于差分隐私法的联邦学习方法。 10.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 该计算机程序被 处理器执行时实现权利要求1至7任一项所述的基于 差分隐私法的联邦学习方法。权　利　要　求　书 2/2 页 3 CN 114358307 A 3