Wie hilft Uneinstimmigkeit der Generalisierung bei Etikettverschmutzung?

Das Lernen mit verrauschten Etiketten ist eines der aktuellsten Probleme im Bereich des schwach überwachten Lernens. Aufgrund der Merk-effekte von tiefen neuronalen Netzen wird das Training auf Instanzen mit geringem Verlust sehr vielversprechend für die Behandlung verrauschter Etiketten. Dies fördert den Stand-der-Technik-Ansatz "Co-teaching", bei dem zwei tiefe neuronale Netze unter Verwendung der Strategie des geringen Verlusts gegenseitig trainiert werden. Allerdings nähern sich die beiden Netze mit zunehmender Anzahl von Epochen einem Konsens an, und Co-teaching reduziert sich auf das Selbsttraining von MentorNet. Um dieses Problem zu lösen, schlagen wir ein robustes Lernparadigma namens Co-teaching+ vor, das die Strategie "Update by Disagreement" (Aktualisierung durch Diskrepanz) mit dem ursprünglichen Co-teaching verbindet. Zunächst geben die beiden Netze alle Daten vorwärts und machen Vorhersagen, aber sie behalten nur die Daten, bei denen ihre Vorhersagen divergieren. Danach wählen beide Netze innerhalb dieser divergierenden Daten jeweils ihre Instanzen mit geringem Verlust aus, aber sie propagieren den geringen Verlust rückwärts anhand der Daten des anderen Netzes und aktualisieren ihre eigenen Parameter. Empirische Ergebnisse auf Benchmark-Datensätzen zeigen, dass Co-teaching+ in Bezug auf die Robustheit der trainierten Modelle vielen Stand-der-Technik-Methoden weit überlegen ist.