要約
連合学習（Federated Learning）環境下で訓練されたモデルは、特に非均質な状況に直面した際に性能が低下し、一般化能力に欠ける傾向がある。本研究では、損失関数の幾何構造およびヘッシアン固有値スペクトルの観点からこの現象を検討し、モデルの一般化能力の不足が解の「鋭さ（sharpness）」に起因することを明らかにした。これまでの研究で損失面の鋭さと一般化ギャップの関連性が指摘されていることに着目し、本研究では、i）クライアント側でのローカル学習にSharpness-Aware Minimization（SAM）またはその適応版であるASAMを適用し、ii）サーバー側で確率的重み平均化（Stochastic Weight Averaging, SWA）を実施することで、連合学習における一般化性能が著しく向上し、中央集権型モデルとのギャップを縮められることを示した。これらの手法により、損失が均一に低い近傍領域内のパラメータに収束するよう促進され、平坦な極小値へと収束するため、均質および非均質な両方のシナリオにおいて一般化性能が顕著に向上する。実証的な結果から、CIFAR10/100、Landmarks-User-160k、IDDAなど多様なベンチマーク画像データセットおよび大規模分類、セマンティックセグメンテーション、ドメイン一般化といった複数のタスクにおいて、これらの最適化手法の有効性が確認された。