Co-Teaching: Robuste Trainingsmethoden für Tiefneuronale Netze bei extrem verrauschten Labels

Das maschinelle Lernen mit verrauschten Etiketten stellt praktische Herausforderungen dar, da die Kapazität tiefer Modelle so hoch ist, dass sie diese verrauschten Etiketten im Laufe des Trainings vollständig merken können. Dennoch zeigen jüngste Studien zu den Merkeffekten tiefer neuronaler Netze, dass diese zunächst Daten mit sauberen Etiketten und erst danach solche mit verrauschten Etiketten merken. Daher schlagen wir in dieser Arbeit ein neues Paradigma des tiefen Lernens vor, das Co-teaching genannt wird, um mit verrauschten Etiketten fertigzuwerden. Im Rahmen dieses Ansatzes trainieren wir zwei tiefe neuronale Netze gleichzeitig und lassen sie sich gegenseitig bei jedem Mini-Batch lehren: Zunächst führt jedes Netz alle Daten vorwärts und wählt einige Daten mit möglicherweise sauberen Etiketten aus; anschließend kommunizieren die beiden Netze miteinander, welche Daten in diesem Mini-Batch für das Training verwendet werden sollten; schließlich rückpropagiert jedes Netz die von seinem Partner-Netz ausgewählten Daten und aktualisiert sich selbst. Empirische Ergebnisse an verrauschten Versionen von MNIST, CIFAR-10 und CIFAR-100 zeigen, dass Co-teaching den aktuellen Stand der Technik in Bezug auf die Robustheit der trainierten tiefen Modelle deutlich übertrifft.