CoMatch: Semi-supervised Learning mit kontrastiver Graphen-Regularisierung

Semi-supervised Learning hat sich als wirksames Paradigma erwiesen, um unbeschriftete Daten zu nutzen, um die Abhängigkeit von beschrifteten Daten zu verringern. Wir stellen CoMatch vor, eine neue Methode für semi-supervised Learning, die dominierende Ansätze vereint und deren Grenzen überwindet. CoMatch lernt gemeinsam zwei Darstellungen der Trainingsdaten – ihre Klassenwahrscheinlichkeiten und niedrigdimensionale Embeddings. Diese beiden Darstellungen wechselwirken miteinander und entwickeln sich gemeinsam weiter. Die Embeddings setzen eine Glättungsbedingung für die Klassenwahrscheinlichkeiten durch, was die Pseudolabels verbessert, während die Pseudolabels die Struktur der Embeddings mittels graphbasierter kontrastiver Lernverfahren regularisieren. CoMatch erreicht state-of-the-art Ergebnisse auf mehreren Datensätzen. Insbesondere zeigt sie erhebliche Genauigkeitsverbesserungen bei den datenarmen Datensätzen CIFAR-10 und STL-10. Auf ImageNet mit nur 1 % beschrifteten Daten erreicht CoMatch eine Top-1-Accuracy von 66,0 %, was eine Verbesserung um 12,6 % gegenüber FixMatch darstellt. Zudem erzielt CoMatch eine bessere Leistung im Bereich der Repräsentationslernung für nachgeschaltete Aufgaben und übertrifft sowohl überwachtes als auch selbstüberwachtes Lernen. Der Quellcode und vortrainierte Modelle sind unter https://github.com/salesforce/CoMatch verfügbar.