ReMixMatch: Semi-Supervised Learning mit Verteilungsausrichtung und Augmentierungsanker

Wir verbessern den kürzlich vorgeschlagenen semi-supervised Lernalgorithmus „MixMatch“ durch die Einführung zweier neuer Techniken: Verteilungsausrichtung (distribution alignment) und Augmentierungsankern (augmentation anchoring). Die Verteilungsausrichtung veranlasst die marginale Verteilung der Vorhersagen auf unbeschrifteten Daten, sich der marginalen Verteilung der wahren Etiketten anzunähern. Das Augmentierungsankern leitet mehrere stark transformierte Versionen eines Eingabewerts in das Modell ein und ermutigt jede Ausgabe, nahe an der Vorhersage für eine schwach transformierte Version desselben Eingabewerts zu liegen. Zur Erzeugung starker Augmentierungen schlagen wir eine Variante von AutoAugment vor, die die Augmentierungsstrategie während des Trainings des Modells lernt. Unser neuer Algorithmus, ReMixMatch genannt, ist gegenüber vorherigen Ansätzen erheblich dateneffizienter und benötigt zwischen fünf- und sechzehnfach weniger Daten, um die gleiche Genauigkeit zu erreichen. Beispielsweise erreichen wir auf CIFAR-10 mit nur 250 beschrifteten Beispielen eine Genauigkeit von 93,73 % (im Vergleich zu MixMatch mit 93,58 % bei 4.000 Beispielen) und eine Median-Genauigkeit von 84,92 % mit lediglich vier Etiketten pro Klasse. Wir stellen unseren Code und die Daten unter https://github.com/google-research/remixmatch als Open Source zur Verfügung.