Command Palette
Search for a command to run...
Robuste Frühlernen: Verhindern der Memorisation von verrauschten Labels
Robuste Frühlernen: Verhindern der Memorisation von verrauschten Labels
Yi Chang ZongYuan Ge Nannan Wang Chen Gong Bo Han Tongliang Liu Xiaobo Xia
Zusammenfassung
Die Memorisationseffekte tiefer Netzwerke zeigen, dass diese zunächst Trainingsdaten mit sauberen Etiketten und anschließend solche mit verrauschten Etiketten speichern. Die Early-Stopping-Methode kann daher zur Lernprozesse mit verrauschten Etiketten genutzt werden. Allerdings beeinträchtigt der Nebeneffekt, der durch verrauschte Etiketten verursacht wird, die Speicherung sauberer Etiketten vor dem Early Stopping. Ausgehend von der Lottery-Ticket-Hypothese, die darauf hinweist, dass nur ein Teil der Parameter für die Generalisierung entscheidend ist, stellen wir fest, dass nur ein Teil der Parameter für die Anpassung an saubere Etiketten und eine gute Generalisierung relevant ist – wir bezeichnen diese als kritische Parameter; die übrigen Parameter hingegen neigen dazu, verrauschte Etiketten zu erfassen und verallgemeinern schlecht, weshalb wir sie als nicht-kritische Parameter bezeichnen. Auf dieser Grundlage schlagen wir robustes Early-Learning vor, um den Nebeneffekt verrauschter Etiketten vor dem Early Stopping zu reduzieren und somit die Speicherung sauberer Etiketten zu verstärken. Konkret teilen wir in jeder Iteration alle Parameter in kritische und nicht-kritische auf und wenden unterschiedliche Aktualisierungsregeln für die verschiedenen Parametergruppen an. Umfangreiche Experimente auf Benchmark-Datenbanken mit simulierten und realen Label-Rauschen belegen die Überlegenheit des vorgeschlagenen Ansatzes gegenüber den aktuellen State-of-the-Art-Methoden für das Lernen mit verrauschten Etiketten.