AdaBest：通过自适应偏差估计最小化联邦学习中的客户端漂移

在联邦学习（Federated Learning, FL）中，多个客户端或设备在不共享原始数据的前提下协同训练模型。各客户端在本地对模型进行优化，并将更新后的模型参数上传至中心服务器进行聚合。尽管联邦学习作为一种极具吸引力的去中心化训练范式，但不同客户端间数据的异质性可能导致本地优化过程偏离全局目标，产生“漂移”现象。为估计并消除此类漂移，近期研究引入了方差缩减技术以改进联邦优化。然而，现有方法对客户端漂移的估计不够准确，难以有效消除其影响。本文提出一种自适应算法，能够更精确地估计各客户端间的漂移。与现有方法相比，本方法在存储开销、通信带宽和计算成本方面均具有显著优势，资源消耗更低。此外，所提出的方法通过约束客户端漂移估计的范数来增强训练稳定性，使其更适用于大规模联邦学习场景。实验结果表明，该算法在多个联邦学习基准测试中均展现出更快的收敛速度和更高的模型精度，显著优于现有基线方法。