HyperAIHyperAI

Command Palette

Search for a command to run...

Verständnis und Verbesserung des Early Stopping bei der Lernprozesse mit verrauschten Labels

Yingbin Bai Erkun Yang Bo Han Yanhua Yang Jiatong Li Yinian Mao Gang Niu Tongliang Liu

Zusammenfassung

Der Memorisationseffekt tiefer neuronaler Netze (DNN) spielt eine entscheidende Rolle bei vielen modernen Ansätzen zum Lernen mit fehlerhaften Etiketten. Um diese Eigenschaft auszunutzen, wird üblicherweise die Technik des frühen Stoppens angewendet, bei der die Optimierung bereits in einem frühen Stadium des Trainings gestoppt wird. Aktuelle Methoden bestimmen den Zeitpunkt des frühen Stoppens in der Regel, indem das DNN als Ganzes betrachtet wird. Ein DNN lässt sich jedoch als Zusammensetzung einer Reihe von Schichten auffassen, und wir stellen fest, dass die hinteren Schichten eines DNN deutlich empfindlicher gegenüber Etikettenrauschen sind, während die vorderen Schichten relativ robust gegenüber solchen Störungen sind. Daher kann die Wahl eines gemeinsamen Stoppzeitpunkts für das gesamte Netzwerk dazu führen, dass sich die verschiedenen Schichten gegenseitig beeinträchtigen, was die endgültige Leistung verschlechtert. In diesem Artikel schlagen wir vor, ein DNN in mehrere Teile zu zerlegen und diese schrittweise zu trainieren, um dieses Problem zu lösen. Anstatt den klassischen Ansatz des frühen Stoppens, bei dem das gesamte DNN gleichzeitig trainiert wird, initialisieren wir zunächst die vorderen Schichten des DNNs durch Optimierung mit einer relativ großen Anzahl von Epochen. Währenddessen trainieren wir die hinteren Schichten schrittweise mit einer geringeren Anzahl von Epochen, wobei die vorhergehenden Schichten fixiert bleiben, um die Auswirkungen fehlerhafter Etiketten zu minimieren. Wir bezeichnen unseren Ansatz als progressiven frühen Stopp (Progressive Early Stopping, PES). Trotz seiner Einfachheit ermöglicht PES im Vergleich zum herkömmlichen frühen Stopp signifikant vielversprechendere und stabilere Ergebnisse. Darüber hinaus erreichen wir durch die Kombination von PES mit bestehenden Methoden zur Behandlung fehlerhafter Etiketten state-of-the-art-Leistungen auf gängigen Benchmarks für Bildklassifikation.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Verständnis und Verbesserung des Early Stopping bei der Lernprozesse mit verrauschten Labels | Paper | HyperAI