(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211131303.8 (22)申请日 2022.09.16 (71)申请人 中国电力科 学研究院有限公司 地址 100192 北京市海淀区清河小营东路 15号 申请人 华北电力大 学 (72)发明人 李亚蕾　张金虎　刘筱萍　李文琢　 李昂　纪欣　李劲松　崔旭　 姜佳宁　王化鹏　赵铭洋　刘洋　 南祎　沈艳　李凯　杨文梯　 关志涛　 (74)专利代理 机构 北京中巡通大知识产权代理 有限公司 1 1703 专利代理师 李宏德(51)Int.Cl. G06F 21/62(2013.01) G06F 17/16(2006.01) G06F 21/60(2013.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06N 20/00(2019.01) H04L 9/08(2006.01) (54)发明名称 基于多密钥同态加密的纵向联邦学习隐私 保护方法及系统 (57)摘要 本发明属于联邦学习技术领域， 公开一种基 于多密钥同态加密 的纵向联邦学习隐私保护方 法及系统； 所述方法包括： S1)参数初始化； S2)模 型初始化； S3)客户端侧训练； S4)服务器侧训练； S5)模型更新； S6)模型解密。 本发明支持持有不 同特征空间数据集的参与方在保护本地数据隐 私的前提下， 实现高效纵向联邦神经网络训练。 采用多密钥同态加密， 为不同参与方分发不同的 同态加密密钥， 解决了利用传统同态加密无法保 证参与方之间互不泄露隐私的问题。 无需引入额 外的第三方负责管理密钥并进行解密， 各参与方 可以以分布式的方式进行合作解密， 进一步增加 了训练完成后的模型的安全性。 权利要求书3页 说明书10页 附图2页 CN 115455476 A 2022.12.09 CN 115455476 A 1.基于多密钥同态加密的纵向联邦学习隐私保护方法， 其特 征在于， 包括： S1、 密钥生成中心初始化多密钥同态加密安全参数与公共参数， 为各参与方生成不同 私钥； S2、 服务器确定联合训练的神经网络模型参数， 拆分神经网络模型并分发给 各参与方； S3、 各参与方利用本地数据训练拆分模型， 将拆分模型输出加密发送给服 务器； S4、 服务器以各参与方加密后的拆分模型输出作为服务器模型的输入， 在服务器模型 上进行前向传播； S5、 服务器更新服务器模型， 并将反向传播结果发送给各参与方， 各参与方将服务器模 型的反向传播输出作为输入更新本地拆分模型， 直至服务器模型满足收敛或预设条件， 训 练结束； S6、 训练结束后， 参与方对加密的训练结果进行解密。 2.根据权利要求1所述的基于多密钥同态加密的纵向联邦学习隐私保护方法， 其特征 在于， 步骤S1具体包括： S101、 密钥生成中心确定安全参数λ 以及环上容错学习维度n， 密文模数q， 多项式剩余 类环R＝Z[X]/(Xn+1)， Rq＝R/(q·R)， 其中Z[X]表示为多项式； 密钥分布c∈Rq， 错误分布j∈ R， 随机向量 其中 表示向量中元素属于Rq的d维向量； 返回公共参数 S102、 密钥生成中心为每个参与方i生成不同的密钥si←c； 并通过si计算参与方的公钥 pki＝(b,a)； 首 先选择误差参数 e←jd， 计算b＝ ‑s·a+e(mod q)； S103、 密钥生成中心为每个参与方i生成重线性化密钥rek； 密钥生成中心在完成公共 参数的设置， 密钥与重线性 化密钥的生成操作后， 设置为离线状态。 3.根据权利要求2所述的基于多密钥同态加密的纵向联邦学习隐私保护方法， 其特征 在于， 步骤S2具体包括： S201、 服务器与各参与方共同协定拟训练的神经网络模型， 设定超参数； S202、 服务器将整体的神经网络模型进行拆分， 每个参与方和服务器各持有一个拆分 模型， 服务器持有的拆 分模型作为服务器模型； 各参与方的拆分模型输出， 组成服务器模型 的输入。 4.根据权利要求3所述的基于多密钥同态加密的纵向联邦学习隐私保护方法， 其特征 在于， 步骤S3具体包括： S301、 设向量a1＝(x1,x2,…,xn)表示各参与方的输入向量， Wi表示拆分模型中每层网络 的权重矩阵， fi表示每层网络的激活函数， 每层网络的输出向量表示为ai＝f(Wi·ai‑1)； 各 参与方j利用本地数据进行计算， 得到拆分模型的输出向量yj＝alast＝f(Wlast·alast‑1), alast表示拆分网络最后一层的输出； S302、 各参与方j将输出向量进行加密， 得到密文ctj＝(cj0,cj1)； 各参与方将加密后的 密文向量发送给服 务器。 5.根据权利要求4所述的基于多密钥同态加密的纵向联邦学习隐私保护方法， 其特征 在于， 步骤S4具体包括： S401、 服务器收到来自各参与方j的密文向量ctj＝(cj0,cj1)， 将不同参与方的密文向量权　利　要　求　书 1/3 页 2 CN 115455476 A 2统一为能够进行同态评估的格式， 将密文向量中的每个元素统一为 其中 每个参与方的密文中元 素顺序一 致， 若某密文中不存在对应元 素， 则将对应项置 0； S402、 服务器以统一后的密文向量作为输入， 将各参与方的密文向量 合并为一个向 量 Wi表示服务器模型中每层网络的权重矩阵， fi表示每层网络的激活函数， 服务器模型 第一层的输出向量表示为 密文向量a1,ct作为下一层网络的输出， 继续进行 前向传播， 直到得到服务器模型最后一层网络的加密输出向量yct＝(y1,ct,y2,ct,...,yi,ct)， 其中i为输出层节点数量。 6.根据权利要求5所述的基于多密钥同态加密的纵向联邦学习隐私保护方法， 其特征 在于， 步骤S5具体包括： S501、 服务器检查目标函数是否收敛， 若收敛， 则结束训练； 若未收敛或未满足预设条 件， 则进入步骤S5 02； S502、 服务器通过反向传播算法对权重进行更新； 设ti为输出层节点i的目标值， y＝ (y1,y2,...,yi)为密文向量yct＝(y1,ct,y2,ct,...,yi,ct)对应的明文输出向量； 对 于未加密的 输出， 目标函数Ed＝1/2∑(ti‑yi)2， 利用随机梯度下降算法对目标函数进行优化 其中wji为节点j到节点 i的权重， h为学习率； S503、 各参与方收到服务器发送的加密误差项后， 对本地拆分模型的权重进行更新 S504、 各参与方更新拆分模型权重后， 迭代执行步骤S3 ‑步骤S5， 直至服务器模型满足 收敛或预设条件， 训练结束。 7.根据权利要求6所述的基于多密钥同态加密的纵向联邦学习隐私保护方法， 其特征 在于， 步骤S6具体包括： S601、 训练结束后， 服务器向各参与方发送请求， 各参与方将本地拆分模型参数加密后 发送给服 务器； S602、 服务器对各参与方的加密参数进行统一处理， 并将模型进行整合， 得到经多密钥 同态加密算法加密后的全局模型； 随后， 服 务器将加密的全局模型发送给 各参与方； S603、 各参与方对加密的全局模型进行 联合解密， 得到最终的全局模型。 8.基于多密钥同态加密的纵向联邦学习隐私保护系统， 其特 征在于， 包括： 密钥生成中心， 用于初始化多密钥同态加密安全参数与公共参数， 为各参与方生成不 同私钥； 服务器， 用于确定联合训练的神经网络模型参数， 拆分神经网络模型并分发给各参与 方； 以各参与方加密后的拆分模型输出作为服务器模型 的输入， 在服务器模型上进行前向 传播； 更新 服务器模型， 并将反向传播结果发送给 各参与方； 若干参与 方， 用于利用本地数据训练拆分模型， 将拆分模型输出加密发送给服务器； 将 服务器模型的反向传播输出作为输入更新本地拆分模型， 直至服务器模型满足收敛或预设 条件， 训练结束； 对加密的训练结果进行解密。权　利　要　求　书 2/3 页 3 CN 115455476 A 3