HyperAIHyperAI

Command Palette

Search for a command to run...

Schärfebewusste Minimierung zur effizienten Verbesserung der Generalisierung

Pierre Foret Ariel Kleiner Hossein Mobahi Behnam Neyshabur

Zusammenfassung

In heutigen stark überparametrisierten Modellen bietet der Wert der Trainingsverlustfunktion nur noch geringe Garantien hinsichtlich der Generalisierungsfähigkeit des Modells. Tatsächlich kann die reine Optimierung des Trainingsverlustwerts, wie sie üblicherweise durchgeführt wird, leicht zu suboptimaler Modellqualität führen. Ausgehend von vorangegangenen Arbeiten, die die Geometrie des Verlustlandschafts mit der Generalisierung verknüpfen, stellen wir ein neuartiges, effektives Verfahren vor, das den Verlustwert und die Verlustschärfe gleichzeitig minimiert. Insbesondere zielt unsere Methode, die sogenannte Sharpness-Aware Minimization (SAM), darauf ab, Parameter zu finden, die in Umgebungen mit gleichmäßig niedrigem Verlust liegen; diese Formulierung führt zu einem Minimax-Optimierungsproblem, das effizient mittels Gradientenabstieg gelöst werden kann. Wir präsentieren empirische Ergebnisse, die zeigen, dass SAM die Generalisierungsfähigkeit über eine Vielzahl von Benchmark-Datensätzen (z. B. CIFAR-10, CIFAR-100, ImageNet, Fine-Tuning-Aufgaben) und Modelle hinweg verbessert und für mehrere Fälle neue SOTA-Leistungen erzielt. Zudem stellen wir fest, dass SAM eine natürliche Robustheit gegenüber Label-Rauschen aufweist, die der von modernsten Verfahren entspricht, die speziell auf das Lernen mit verrauschten Labels ausgerichtet sind. Wir stellen unseren Code öffentlich unter \url{https://github.com/google-research/sam} zur Verfügung.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp