(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111488605.6 (22)申请日 2021.12.08 (71)申请人 杭州趣链科技有限公司 地址 310051 浙江省杭州市滨江区丹 枫路 399号2号楼 A楼2001室 (72)发明人 张延楠　尚璇　张帅　李伟　蔡亮　 (74)专利代理 机构 杭州天勤知识产权代理有限 公司 33224 专利代理师 曹兆霞 (51)Int.Cl. G06F 21/62(2013.01) G06F 21/64(2013.01) G06F 16/27(2019.01) G06N 20/00(2019.01) G06N 3/04(2006.01)G06N 3/08(2006.01) G06Q 30/02(2012.01) (54)发明名称 基于区块链的异步纵向联邦学习公平激励 机制方法 (57)摘要 本发明公开了一种基于区块链的异步纵向 联邦学习公平激励机制方法， 包括： 具有广告推 荐需求的参与方注册申请， 参与方依据纵向联邦 学习任务部署用于提取样本数据的嵌入表示信 息的本地模 型； 参与方利用本地数据训练本地模 型， 并上传嵌入表示信息至区块链； 主参与方依 据时间戳从区块链收集满足预设数量的完整嵌 入表示信息后进行嵌入表示信息聚合， 并利用聚 合的嵌入表 示更新用于广告推荐的顶部模型； 验 证委员会对新区块的合法性进行验证， 并广播通 过验证的新区块， 同步更新区块链中的账本信 息， 参与方从账本信息中下载新顶部模型进行下 一轮本地训练； 验证委员会对参与方的数据质量 贡献度进行评分， 并根据贡献度得分为参与方分 配激励值。 权利要求书2页 说明书8页 附图2页 CN 114491615 A 2022.05.13 CN 114491615 A 1.一种基于区块链的异步纵向联邦学习公平激励机制方法， 其特征在于， 包括以下步 骤： 步骤1， 具有广告推荐需求的参与 方注册申请， 任务协调者通过区块链部署 纵向联邦学 习任务， 参与方之 间数据对齐和依据纵向联邦学习任务部署用于提取样本数据的嵌入表示 信息的本地模型； 步骤2， 参与方利用本地数据训练本地模型， 并上传样本数据的嵌入表示信息至区块 链； 步骤3， 选择所有参与方中的一者为主参与方， 主参与 方依据时间戳从区块链收集满足 预设数量的完整嵌入表示信息后进行嵌入表示信息聚合， 并利用聚合的嵌入表示更新用于 广告推荐的顶部模型和本地模型的梯度信息， 为本地模型的梯度信息生成新区块保存； 步骤4， 验证委员会对新区块的合法性进行验证， 并广播通过验证的新区块， 同步更新 区块链中的账本信息， 参与方从账本信息中下载本地模型的梯度信息进行下一轮本地训 练； 步骤5， 纵向联邦学习任务结束时， 参与 方和主参与 方上传本地模型和顶部模型至新 区 块保存； 步骤6， 验证委员会对参与方的数据质量贡献度进行评分， 并根据贡献度 得分为参与 方 分配激励值。 2.根据权利要求1所述的基于区块链的异步纵向联邦学习公平激励机制方法， 其特征 在于， 步骤1中， 参与方注册申请时， 将自身数据集大小和算力情况及网络通信速率作为注 册信息上传； 任务协调者通过区块链部署纵向联邦学习任务时， 任务协调者分配签名的公钥和私 钥， 此时参与方具有支出激励值的数字签名， 任务协调者在区块链中创建创世块， 创世块包 含纵向联邦学习任务信息； 参与方与附近的计算节点进行匹配通信， 1个计算节点同时匹配多个参与方参与纵向 联邦学习任务， 参与方通过计算节点从创世块下 载纵向联邦学习任务信息进行本地部署。 3.根据权利要求1所述的基于区块链的异步纵向联邦学习公平激励机制方法， 其特征 在于， 步骤1中， 参与方之间通过基于RSA加密技 术和哈希算法完成数据秘密对齐匹配。 4.根据权利要求1所述的基于区块链的异步纵向联邦学习公平激励机制方法， 其特征 在于， 步骤2中， 参与方利用本地数据训练部署的本地模型， 完成样本数据的1个轮次的前向 传播以获得样本数据的嵌入表示信息， 参与方将带有签名的嵌入表示信息、 本地资源运行 消耗、 以区块链事务的形式上传给关联的计算节点。 5.根据权利要求1所述的基于区块链的异步纵向联邦学习公平激励机制方法， 其特征 在于， 步骤3中， 计算节点收到带有签名的嵌入表示信息， 验证签名的合法性并发布事务， 主 参与方监听通过计算节点收集参与方发布的事务， 获取参与方发布的嵌入表示信息， 主参 与方监听机制包括监听参与方上传 事务的时间戳以及嵌入表示信息的完整性， 当主参与方 监听到前n个参与方完成嵌入表示信息的上链， 聚合拼接n个参与方的嵌入表示信息， 形成 聚合的嵌入表示信息； 与此同时， 监听的计数器重置为0， 一旦监听到新上链的嵌入表示信 息计数器加1。 6.根据权利要求1所述的基于区块链的异步纵向联邦学习公平激励机制方法， 其特征权　利　要　求　书 1/2 页 2 CN 114491615 A 2在于， 步骤3， 主参与方利用聚合的嵌入表示更新用于广告推荐的顶部模型和本地模型的梯 度信息时， 将聚合的嵌入表示更新输入顶部模型， 经过计算得到输出向量， 将该输出向量经 过分类器映射输出预测概率向量， 通过该预测概率向量与真实标签的交叉熵作为损失函 数， 来更新顶部模型， 同时生成各本地模型的梯度信息 。 7.根据权利要求1所述的基于区块链的异步纵向联邦学习公平激励机制方法， 其特征 在于， 步骤4中， 参与方从账本信息中下载新顶部模型的更新梯度信息， 在本地模型实现反 向传播算法， 并利用更新梯度信息更新本地模型参数， 完成本地训练。 8.根据权利要求1所述的基于区块链的异步纵向联邦学习公平激励机制方法， 其特征 在于， 步骤5中， 验证委员会 对参与方的数据质量贡献度采用以下两种打 分机制： 互信息评测打分机制， 计算真实标签与参与方上传的嵌入表示信息之间的互信息数 值， 该互信息数值作为数据质量贡献度评分的一部分； 嵌入缺失验证打分机制， 针对每个参与方， 将参与方的嵌入表示信息赋值为全0向量 后， 将该全0向量与所有其他参与方的嵌入表示信息拼接后， 输入至顶部模型得到预测结 果， 并根据预测结果和真实标签计算参与方 的准确度， 依据准确度越低赋予越高得分的方 式为参与方评分， 该评分作为数据质量贡献度评分的另一部分； 两个部分的数据质量贡献度评分之和作为 参与方的总评分。 9.根据权利要求8所述的基于区块链的异步纵向联邦学习公平激励机制方法， 其特征 在于， 所述依据准确度越低赋予越高得分的方式为 参与方评分， 包括： 对每个参与方的准确度进行排序， 然后按照以下公式计算每 个参与方的得分： 其中， Score2 表示得分， x表示 参与方的准确度按照由低到高排序的序号。 10.根据权利要求1所述的基于区块链的异步纵向联邦学习公平激励机制方法， 其特征 在于， 所述方法还 包括： 参与方纵向联邦学习得到的顶部模型的验证 推理， 包括： 在单一模式验证推理中， 参与方从新区块中下载顶部模型， 将本地数据输入至本地模 型， 得到嵌入表示信息， 然后 嵌入表示信息输入至顶部模型中， 得到顶部模型 的预测结果， 根据该预测结果对本地模型和顶部模型验证 推理； 在多方模式验证推理中， 多个参与方从新区块中同时下载顶部模型， 每个参与方将本 地数据输入至各自的本地模型， 得到嵌入表示信息， 然后各自的嵌入表示信息输入至顶部 模型中， 得到顶部模型的预测结果， 根据该 预测结果对本地模型和顶部模型验证 推理。权　利　要　求　书 2/2 页 3 CN 114491615 A 3