15 天前

基于个性化先验隐藏信息的个性化联邦学习

Mingjia Shi, Yuhao Zhou, Qing Ye, Jiancheng Lv
基于个性化先验隐藏信息的个性化联邦学习
摘要

联邦学习(Federated Learning,简称FL)是一种分布式机器学习技术,通过全局服务器与协作客户端的协同工作,在不直接共享数据的前提下实现隐私保护的全局模型训练。然而,数据异构性问题作为FL面临的主要挑战之一,导致全局模型在各客户端的本地数据上难以实现有效性能。为此,个性化联邦学习(Personalized Federated Learning,简称PFL)旨在最大程度提升模型在本地数据上的表现。贝叶斯学习将模型参数视为具有先验假设的随机变量,因其具备“使用更多本地数据时模型更聚焦于本地数据,否则更依赖先验”的特性,成为应对数据异构性问题的一种可行方案。当贝叶斯学习应用于PFL时,全局模型可为本地训练过程提供全局知识作为先验信息。本文通过在缩放指数族中假设先验分布,采用贝叶斯学习建模PFL,并提出pFedBreD框架,利用Bregman散度正则化方法求解所建模的问题。实验结果表明,在球面高斯先验假设及一阶均值选择策略下,所提出的pFedBreD在多个公开基准测试中显著优于其他PFL算法。

基于个性化先验隐藏信息的个性化联邦学习 | 最新论文 | HyperAI超神经