Verständnis und Verbesserung des Early Stopping bei der Lernprozesse mit verrauschten Labels

Der Memorisationseffekt tiefer neuronaler Netze (DNN) spielt eine entscheidende Rolle bei vielen modernen Ansätzen zum Lernen mit fehlerhaften Etiketten. Um diese Eigenschaft auszunutzen, wird üblicherweise die Technik des frühen Stoppens angewendet, bei der die Optimierung bereits in einem frühen Stadium des Trainings gestoppt wird. Aktuelle Methoden bestimmen den Zeitpunkt des frühen Stoppens in der Regel, indem das DNN als Ganzes betrachtet wird. Ein DNN lässt sich jedoch als Zusammensetzung einer Reihe von Schichten auffassen, und wir stellen fest, dass die hinteren Schichten eines DNN deutlich empfindlicher gegenüber Etikettenrauschen sind, während die vorderen Schichten relativ robust gegenüber solchen Störungen sind. Daher kann die Wahl eines gemeinsamen Stoppzeitpunkts für das gesamte Netzwerk dazu führen, dass sich die verschiedenen Schichten gegenseitig beeinträchtigen, was die endgültige Leistung verschlechtert. In diesem Artikel schlagen wir vor, ein DNN in mehrere Teile zu zerlegen und diese schrittweise zu trainieren, um dieses Problem zu lösen. Anstatt den klassischen Ansatz des frühen Stoppens, bei dem das gesamte DNN gleichzeitig trainiert wird, initialisieren wir zunächst die vorderen Schichten des DNNs durch Optimierung mit einer relativ großen Anzahl von Epochen. Währenddessen trainieren wir die hinteren Schichten schrittweise mit einer geringeren Anzahl von Epochen, wobei die vorhergehenden Schichten fixiert bleiben, um die Auswirkungen fehlerhafter Etiketten zu minimieren. Wir bezeichnen unseren Ansatz als progressiven frühen Stopp (Progressive Early Stopping, PES). Trotz seiner Einfachheit ermöglicht PES im Vergleich zum herkömmlichen frühen Stopp signifikant vielversprechendere und stabilere Ergebnisse. Darüber hinaus erreichen wir durch die Kombination von PES mit bestehenden Methoden zur Behandlung fehlerhafter Etiketten state-of-the-art-Leistungen auf gängigen Benchmarks für Bildklassifikation.