FixMatch: Vereinfachung des halbüberwachten Lernens durch Konsistenz und Zuverlässigkeit

Semi-supervised Learning (SSL) bietet eine effektive Möglichkeit, ungekennzeichnete Daten zur Verbesserung der Modellleistung auszunutzen. In diesem Paper demonstrieren wir die Stärke einer einfachen Kombination zweier gängiger SSL-Methoden: Konsistenzregularisierung und Pseudolabeling. Unser Algorithmus, FixMatch, generiert zunächst Pseudolabels basierend auf den Vorhersagen des Modells für schwach transformierte, ungekennzeichnete Bilder. Für ein gegebenes Bild wird das Pseudolabel nur dann beibehalten, wenn das Modell eine Vorhersage mit hoher Konfidenz erzeugt. Anschließend wird das Modell trainiert, das Pseudolabel vorherzusagen, wenn es eine stark transformierte Version desselben Bildes erhält. Trotz seiner Einfachheit erreicht FixMatch state-of-the-art Ergebnisse auf einer Vielzahl standardisierter semi-supervised Learning-Benchmarks, darunter 94,93 % Genauigkeit auf CIFAR-10 mit nur 250 Labels und 88,61 % Genauigkeit mit 40 Labels – also lediglich vier Labels pro Klasse. Da FixMatch zahlreiche Ähnlichkeiten mit bestehenden SSL-Methoden aufweist, die eine schlechtere Leistung erzielen, führen wir eine umfassende Ablationsstudie durch, um die experimentellen Faktoren zu identifizieren, die für den Erfolg von FixMatch am wichtigsten sind. Wir stellen unseren Code unter https://github.com/google-research/fixmatch zur Verfügung.