Zweifach kontrastives Lernen mit verrauschten Labels

Das Lernen aus verrauschten Daten ist eine herausfordernde Aufgabe, die die Modellleistung erheblich beeinträchtigt. In diesem Artikel präsentieren wir TCL, ein neuartiges Doppelkontrastlern-Modell, das robuste Darstellungen lernt und verrauschte Etiketten für die Klassifikation behandelt. Konkret bauen wir ein Gauß-Mischmodell (GMM) über die Darstellungen auf, indem wir die Vorhersagen des überwachten Modells in das GMM integrieren, um die labelfreien latenten Variablen im GMM mit den verrauschten Etiketten zu verknüpfen. Anschließend erkennt TCL Beispiele mit falschen Etiketten als außerhalb der Verteilung liegende (out-of-distribution) Instanzen mittels eines zweikomponentigen GMMs, wobei die Datenverteilung berücksichtigt wird. Weiterhin schlagen wir eine Kreuzsupervision mit einer Entropieregelungsverlustfunktion vor, die die wahren Ziele aus den Modellvorhersagen ableitet, um mit verrauschten Etiketten umzugehen. Als Ergebnis kann TCL diskriminative Darstellungen lernen, die den geschätzten Etiketten durch Mixup- und Kontrastlernverfahren angepasst sind. Umfangreiche experimentelle Ergebnisse auf mehreren Standardbenchmarks und realen Datensätzen belegen die überlegene Leistung von TCL. Insbesondere erzielt TCL eine Verbesserung um 7,5 % bei CIFAR-10 mit 90 % verrauschten Etiketten – einer äußerst verrauschten Situation. Der Quellcode ist unter \url{https://github.com/Hzzone/TCL} verfügbar.