HyperAIHyperAI

Command Palette

Search for a command to run...

AdaBest:適応的バイアス推定を用いたフェデレーテッドラーニングにおけるクライアントドリフトの最小化

Farshid Varno Marzie Saghayi Laya Rafiee Sevyeri Sharut Gupta Stan Matwin Mohammad Havaei

概要

フェデレーテッドラーニング(FL)では、複数のクライアントまたはデバイスがデータを共有せずに協調してモデルを学習する。各クライアントで局所的にモデル最適化が行われ、その結果が中央ハブに送信されて集約される。FLは魅力的な分散型学習フレームワークであるが、異なるクライアント間でデータの異質性が生じることで、局所的な最適化がグローバルな目的関数から逸脱する(ドリフト)傾向がある。このドリフトを推定し、除去するため、最近のFL最適化手法には分散還元(variance reduction)技術が組み込まれている。しかし、これらの手法はクライアント間のドリフトを不正確に推定しており、結果として適切な除去が行われない。本研究では、クライアント間のドリフトを正確に推定するための適応型アルゴリズムを提案する。従来手法と比較して、本手法は必要なストレージ容量、通信帯域幅、および計算コストを低減している。さらに、クライアントドリフト推定値のノルムを制約する仕組みを導入することで、大規模なFLに向けた実用性を高め、学習の安定性を向上させている。実験結果から、提案手法はさまざまなFLベンチマークにおいて、ベースライン手法と比較して著しく高速に収束し、高い精度を達成することが示された。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています
AdaBest:適応的バイアス推定を用いたフェデレーテッドラーニングにおけるクライアントドリフトの最小化 | 記事 | HyperAI超神経