HyperAIHyperAI

Command Palette

Search for a command to run...

Frühzeitige Lernalregularisierung verhindert das Memorieren von verrauschten Etiketten

Sheng Liu Jonathan Niles-Weed Narges Razavian Carlos Fernandez-Granda

Zusammenfassung

Wir schlagen einen neuen Ansatz zur Klassifikation mittels Deep Learning unter Vorhandensein von verrauschten Annotationen vor. Es wurde beobachtet, dass tiefe neuronale Netzwerke bei der Ausbildung auf verrauschten Labels zunächst während einer „frühen Lernphase“ die Trainingsdaten mit korrekten Etiketten anpassen, bevor sie schließlich die Beispiele mit falschen Etiketten memorieren. Wir zeigen, dass frühes Lernen und Memorisation grundlegende Phänomene in hochdimensionalen Klassifikationsaufgaben sind, selbst in einfachen linearen Modellen, und geben eine theoretische Erklärung für diesen Sachverhalt. Aufgrund dieser Erkenntnisse entwickeln wir eine neue Technik für Klassifikationsaufgaben mit verrauschten Daten, die die Fortschritte der frühen Lernphase ausnutzt. Im Gegensatz zu bestehenden Ansätzen, die die Modellausgaben während der frühen Lernphase zur Erkennung von Beispielen mit korrekten Etiketten heranziehen und entweder die falschen Etiketten ignorieren oder versuchen, sie zu korrigieren, verfolgen wir einen anderen Ansatz und nutzen das frühe Lernen stattdessen durch Regularisierung. Unser Ansatz basiert auf zwei zentralen Elementen. Erstens nutzen wir Techniken des halbüberwachten Lernens, um Zielwahrscheinlichkeiten auf Basis der Modellausgaben zu erzeugen. Zweitens entwerfen wir eine Regularisierungsterm, der das Modell in Richtung dieser Ziele steuert und somit die Memorisation falscher Etiketten implizit verhindert. Der resultierende Rahmen zeigt sich auf mehreren Standardbenchmarks und realen Datensätzen robust gegenüber verrauschten Annotationen und erreicht Ergebnisse, die mit dem Stand der Technik vergleichbar sind.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Frühzeitige Lernalregularisierung verhindert das Memorieren von verrauschten Etiketten | Paper | HyperAI