一般化性能を効率的に向上させるためのシャープネス認識最小化

現代の過剰パラメータ化されたモデルにおいて、学習損失の値はモデルの汎化性能に対してほとんど保証を提供しない。実際、一般的に実施されているように学習損失の値のみを最適化しても、容易に劣ったモデル品質に至ってしまう。過去の研究で損失関数の幾何構造と汎化性能の関係が示されたことに着目し、本研究では損失値と損失の鋭さ（sharpness）を同時に最小化する新しい効果的な手法を提案する。特に、我々が提案する手法であるSharpness-Aware Minimization（SAM）は、局所的な周囲において損失が一貫して低いパラメータを探索する。この定式化は、勾配降下法を効率的に適用可能なミニマックス最適化問題として表現できる。実験結果により、SAMがCIFAR-10、CIFAR-100、ImageNet、ファインチューニングタスクなど多様なベンチマークデータセットおよびモデルにおいて、モデルの汎化性能を向上させることを示した。いくつかのタスクでは、新たな最先端性能を達成した。さらに、SAMは、特にノイズのあるラベルに対する学習を目的とした最先端の手法と同等のロバスト性を、自然に備えていることも明らかになった。本研究のコードはGitHubにてオープンソースとして公開されている：\url{https://github.com/google-research/sam}。