Frühzeitige Lernalregularisierung verhindert das Memorieren von verrauschten Etiketten

Wir schlagen einen neuen Ansatz zur Klassifikation mittels Deep Learning unter Vorhandensein von verrauschten Annotationen vor. Es wurde beobachtet, dass tiefe neuronale Netzwerke bei der Ausbildung auf verrauschten Labels zunächst während einer „frühen Lernphase“ die Trainingsdaten mit korrekten Etiketten anpassen, bevor sie schließlich die Beispiele mit falschen Etiketten memorieren. Wir zeigen, dass frühes Lernen und Memorisation grundlegende Phänomene in hochdimensionalen Klassifikationsaufgaben sind, selbst in einfachen linearen Modellen, und geben eine theoretische Erklärung für diesen Sachverhalt. Aufgrund dieser Erkenntnisse entwickeln wir eine neue Technik für Klassifikationsaufgaben mit verrauschten Daten, die die Fortschritte der frühen Lernphase ausnutzt. Im Gegensatz zu bestehenden Ansätzen, die die Modellausgaben während der frühen Lernphase zur Erkennung von Beispielen mit korrekten Etiketten heranziehen und entweder die falschen Etiketten ignorieren oder versuchen, sie zu korrigieren, verfolgen wir einen anderen Ansatz und nutzen das frühe Lernen stattdessen durch Regularisierung. Unser Ansatz basiert auf zwei zentralen Elementen. Erstens nutzen wir Techniken des halbüberwachten Lernens, um Zielwahrscheinlichkeiten auf Basis der Modellausgaben zu erzeugen. Zweitens entwerfen wir eine Regularisierungsterm, der das Modell in Richtung dieser Ziele steuert und somit die Memorisation falscher Etiketten implizit verhindert. Der resultierende Rahmen zeigt sich auf mehreren Standardbenchmarks und realen Datensätzen robust gegenüber verrauschten Annotationen und erreicht Ergebnisse, die mit dem Stand der Technik vergleichbar sind.