AdaBest：適応的バイアス推定を用いたフェデレーテッドラーニングにおけるクライアントドリフトの最小化

フェデレーテッドラーニング（FL）では、複数のクライアントまたはデバイスがデータを共有せずに協調してモデルを学習する。各クライアントで局所的にモデル最適化が行われ、その結果が中央ハブに送信されて集約される。FLは魅力的な分散型学習フレームワークであるが、異なるクライアント間でデータの異質性が生じることで、局所的な最適化がグローバルな目的関数から逸脱する（ドリフト）傾向がある。このドリフトを推定し、除去するため、最近のFL最適化手法には分散還元（variance reduction）技術が組み込まれている。しかし、これらの手法はクライアント間のドリフトを不正確に推定しており、結果として適切な除去が行われない。本研究では、クライアント間のドリフトを正確に推定するための適応型アルゴリズムを提案する。従来手法と比較して、本手法は必要なストレージ容量、通信帯域幅、および計算コストを低減している。さらに、クライアントドリフト推定値のノルムを制約する仕組みを導入することで、大規模なFLに向けた実用性を高め、学習の安定性を向上させている。実験結果から、提案手法はさまざまなFLベンチマークにおいて、ベースライン手法と比較して著しく高速に収束し、高い精度を達成することが示された。