FixMatch: Vereinfachung des halbüberwachten Lernens durch Konsistenz und Zuverlässigkeit

Semi-supervised Learning (SSL) bietet eine effektive Möglichkeit, unbeschriftete Daten zur Verbesserung der Leistung eines Modells zu nutzen. In diesem Paper demonstrieren wir die Stärke einer einfachen Kombination zweier gängiger SSL-Methoden: Konsistenzregularisierung und Pseudolabeling. Unser Algorithmus, FixMatch, generiert zunächst Pseudolabels anhand der Vorhersagen des Modells auf schwach augmentierten unbeschrifteten Bildern. Für ein gegebenes Bild wird das Pseudolabel nur dann beibehalten, wenn das Modell eine Vorhersage mit hoher Konfidenz erzeugt. Anschließend wird das Modell trainiert, das Pseudolabel vorherzusagen, wenn es eine stark augmentierte Version desselben Bildes erhält. Trotz seiner Einfachheit erreicht FixMatch state-of-the-art Ergebnisse auf einer Vielzahl standardisierter semi-supervised Learning-Benchmarks, darunter 94,93 % Genauigkeit auf CIFAR-10 mit nur 250 Labels und 88,61 % Genauigkeit mit 40 Labels – also lediglich vier Labels pro Klasse. Da FixMatch zahlreiche Ähnlichkeiten mit bereits bestehenden SSL-Methoden aufweist, die jedoch schlechtere Leistungen erzielen, führen wir eine umfassende Ablation Study durch, um die experimentellen Faktoren zu identifizieren, die für den Erfolg von FixMatch am wichtigsten sind. Wir stellen unseren Code unter https://github.com/google-research/fixmatch zur Verfügung.