要約
クライアント間における統計的非均質性という課題により、フェデレーテッド学習ベースのサービスを成功裏に展開するためには、個別化されたフェデレーテッド学習手法の採用が不可欠となっています。個別化技術の多様なアプローチの中でも、各クライアントがフェデレーテッド学習の結果として独自の個別化モデルを持つモデル混合型のアプローチが好まれています。この手法は通常、ローカルモデルとフェデレーテッドモデルの両方を必要としますが、その実装は部分的なパラメータ交換に限定されるか、追加のローカル更新を要するといった制約があり、いずれも新規クライアントに対して効果を発揮できず、クライアントの計算負荷を増大させるという問題を抱えています。一方で、二つ以上の独立した深層ネットワークの間には、多様な低損失解を含む連結された部分空間が存在することが最近明らかになりました。この興味深い性質を、モデル混合型の個別化フェデレーテッド学習手法と組み合わせることで、個別化性能の向上が期待できます。本研究では、重み空間においてローカルモデルとフェデレーテッドモデルの最適解の間に明示的な接続を導入する「SuPerFed」という新しい個別化フェデレーテッド学習手法を提案しました。これにより、両モデルが互いに強化し合う仕組みが実現されます。複数のベンチマークデータセットを用いた広範な実験を通じて、本手法が個別化性能および現実のサービス環境で発生しうる問題的状況に対するロバスト性において、一貫した性能向上を達成できることを実証しました。