HyperAIHyperAI

Command Palette

Search for a command to run...

Zur Mixup-Regularisierung

Luigi Carratino Moustapha Cissé Rodolphe Jenatton Jean-Philippe Vert

Zusammenfassung

Mixup ist eine Technik zur Datenverstärkung, die neue Trainingsbeispiele als konvexe Kombinationen von Trainingspunkten und deren Labels erzeugt. Diese einfache Methode hat empirisch gezeigt, dass sie die Genauigkeit vieler moderner State-of-the-art-Modelle in unterschiedlichen Szenarien und Anwendungen verbessert, wobei die zugrundeliegenden Gründe für diesen empirischen Erfolg jedoch bisher nur unzureichend verstanden sind. In diesem Paper machen wir einen wesentlichen Schritt hin zur theoretischen Erklärung der Grundlagen von Mixup, indem wir dessen Regularisierungseffekte klären. Wir zeigen, dass Mixup als ein herkömmlicher Schätzer der empirischen Risikominimierung interpretiert werden kann, der einer Kombination aus Datentransformation und zufälliger Störung der transformierten Daten unterliegt. Aus dieser neuen Interpretation ergeben sich zwei zentrale Erkenntnisse. Erstens deutet die Datentransformation darauf hin, dass ein mit Mixup trainiertes Modell auch bei der Testphase auf transformierte Daten angewendet werden sollte – eine äußerst einfache Änderung im Code, die wir empirisch nachweisen, verbessert sowohl die Genauigkeit als auch die Kalibrierung der Vorhersagen. Zweitens zeigen wir, wie die zufällige Störung in der neuen Interpretation von Mixup mehrere bekannte Regularisierungsschemata induziert, darunter Label Smoothing und die Reduktion der Lipschitz-Konstante des Schätzers. Diese Schemata wirken synergistisch zusammen und führen zu einer selbstkalibrierten und effektiven Regularisierung, die Überanpassung und übermäßige Selbstsicherheit der Vorhersagen verhindert. Unsere theoretischen Analysen werden durch Experimente gestützt, die unsere Schlussfolgerungen bestätigen.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp