ゼロ次順序最適化を用いたフェデレーテッドラーニングにおける次元無関係な通信の実現

フェデレーテッドラーニング（FL）は、分散したデータソース間で協調的かつプライバシー保護型の機械学習を実現する有望な枠組みを提供している。しかし、FLと関連する著しい通信コストは、その効率性を大きく制約する要因となっている。特に、各通信ラウンドにおいて通信コストはモデルの次元に線形に比例するため、大規模モデルの状況では特に顕著な障壁となる。さまざまな通信効率化戦略が提案されてきたものの、モデル次元に依存する本質的な通信コストは、現行のFL実装における主要なボトルネックのままである。本論文では、ゼロ次順序最適化技術を活用し、モデルパラメータの次元$d$にかかわらず、各ラウンドでクライアントとサーバー間で定数個のスカラー値のみを送信することで、通信コストを$\mathscr{O}(d)$から$\mathscr{O}(1)$に削減する新しい次元非依存型通信アルゴリズム「DeComFL」を提案する。理論的には、非凸関数において、標準的な仮定の下で、本アルゴリズムが最先端の収束速度を達成できることを証明しており、クライアント数および局所ステップ数に対して線形の高速化が実現される。さらに、低有効ランク仮定を追加することで、収束速度がモデル次元$d$に依存しないことも示すことができる。実験評価では、従来の深層学習トレーニングおよび大規模言語モデルのファインチューニングを含む複数の設定において、通信オーバーヘッドが著しく削減されることを確認した。特に、数十億パラメータを持つモデルのファインチューニングにおいて、サーバーとクライアント間で合計約1MBのデータを送信するだけで実現可能である。本研究のコードは、https://github.com/ZidongLiu/DeComFL にて公開されている。