HyperAIHyperAI

Command Palette

Search for a command to run...

Robuste Frühlernen: Verhindern der Memorisation von verrauschten Labels

Yi Chang ZongYuan Ge Nannan Wang Chen Gong Bo Han Tongliang Liu Xiaobo Xia

Zusammenfassung

Die Memorisationseffekte tiefer Netzwerke zeigen, dass diese zunächst Trainingsdaten mit sauberen Etiketten und anschließend solche mit verrauschten Etiketten speichern. Die Early-Stopping-Methode kann daher zur Lernprozesse mit verrauschten Etiketten genutzt werden. Allerdings beeinträchtigt der Nebeneffekt, der durch verrauschte Etiketten verursacht wird, die Speicherung sauberer Etiketten vor dem Early Stopping. Ausgehend von der Lottery-Ticket-Hypothese, die darauf hinweist, dass nur ein Teil der Parameter für die Generalisierung entscheidend ist, stellen wir fest, dass nur ein Teil der Parameter für die Anpassung an saubere Etiketten und eine gute Generalisierung relevant ist – wir bezeichnen diese als kritische Parameter; die übrigen Parameter hingegen neigen dazu, verrauschte Etiketten zu erfassen und verallgemeinern schlecht, weshalb wir sie als nicht-kritische Parameter bezeichnen. Auf dieser Grundlage schlagen wir robustes Early-Learning vor, um den Nebeneffekt verrauschter Etiketten vor dem Early Stopping zu reduzieren und somit die Speicherung sauberer Etiketten zu verstärken. Konkret teilen wir in jeder Iteration alle Parameter in kritische und nicht-kritische auf und wenden unterschiedliche Aktualisierungsregeln für die verschiedenen Parametergruppen an. Umfangreiche Experimente auf Benchmark-Datenbanken mit simulierten und realen Label-Rauschen belegen die Überlegenheit des vorgeschlagenen Ansatzes gegenüber den aktuellen State-of-the-Art-Methoden für das Lernen mit verrauschten Etiketten.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Robuste Frühlernen: Verhindern der Memorisation von verrauschten Labels | Paper | HyperAI