HyperAIHyperAI

Command Palette

Search for a command to run...

一般化性能を効率的に向上させるためのシャープネス認識最小化

Pierre Foret Ariel Kleiner Hossein Mobahi Behnam Neyshabur

概要

現代の過剰パラメータ化されたモデルにおいて、学習損失の値はモデルの汎化性能に対してほとんど保証を提供しない。実際、一般的に実施されているように学習損失の値のみを最適化しても、容易に劣ったモデル品質に至ってしまう。過去の研究で損失関数の幾何構造と汎化性能の関係が示されたことに着目し、本研究では損失値と損失の鋭さ(sharpness)を同時に最小化する新しい効果的な手法を提案する。特に、我々が提案する手法であるSharpness-Aware Minimization(SAM)は、局所的な周囲において損失が一貫して低いパラメータを探索する。この定式化は、勾配降下法を効率的に適用可能なミニマックス最適化問題として表現できる。実験結果により、SAMがCIFAR-10、CIFAR-100、ImageNet、ファインチューニングタスクなど多様なベンチマークデータセットおよびモデルにおいて、モデルの汎化性能を向上させることを示した。いくつかのタスクでは、新たな最先端性能を達成した。さらに、SAMは、特にノイズのあるラベルに対する学習を目的とした最先端の手法と同等のロバスト性を、自然に備えていることも明らかになった。本研究のコードはGitHubにてオープンソースとして公開されている:\url{https://github.com/google-research/sam}


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています