Kontrastives Lernen verbessert die Robustheit von Modellen unter Etikettierungsrauschen

Klassifizierer auf Basis tiefer neuronaler Netze, die mit dem kategorischen Kreuzentropieverlust (CCE) trainiert wurden, sind empfindlich gegenüber Label-Rauschen in den Trainingsdaten. Eine gängige Kategorie von Methoden, die die Auswirkungen von Label-Rauschen mildern können, lässt sich als überwachte robuste Methoden betrachten; hierbei kann man einfach den CCE-Verlust durch einen Verlust ersetzen, der gegenüber Label-Rauschen robust ist, oder die Trainingsbeispiele neu gewichten und jene mit höheren Verlustwerten herunterskalieren. Kürzlich wurde eine weitere Art von Methode vorgeschlagen, die semi-supervised Learning (SSL) nutzt, um diese überwachten robusten Ansätze zu erweitern und somit (möglicherweise) fehlerhafte Beispiele effektiver auszunutzen. Obwohl überwachte robuste Methoden auf verschiedenen Datentypen gut abschneiden, haben sie sich bei Bildklassifizierungsaufgaben unter Label-Rauschen als unterlegen gegenüber SSL-Methoden erwiesen. Es bleibt daher offen, ob diese überwachten robusten Methoden ebenfalls eine herausragende Leistung erzielen können, wenn sie unlabeled Daten effektiver nutzen könnten. In diesem Paper zeigen wir, dass die Leistung solcher überwachten robusten Methoden unter Label-Rauschen erheblich verbessert wird, wenn sie mit Darstellungen initiiert werden, die durch kontrastives Lernen erlernt wurden. Überraschenderweise kann selbst die einfachste Methode (das Training eines Klassifizierers mit dem CCE-Verlust) bei hohem Label-Rauschen die state-of-the-art-SSL-Methode um mehr als 50 % schlagen, wenn sie mit kontrastivem Lernen initiiert wird. Unsere Implementierung wird öffentlich unter {\url{https://github.com/arghosh/noisy_label_pretrain}} verfügbar sein.