Steigerung der Leistungsfähigkeit von Semi-Supervised Learning durch unüberwachtes Clustering

Kürzlich hat das halbüberwachte Lernen (Semi-Supervised Learning, SSL) großes Potenzial gezeigt, unbeschriftete Daten effizient zu nutzen, während nur sehr wenige Labels zur Verfügung stehen. In diesem Paper zeigen wir, dass die vollständige Ignorierung der Labels über ganze Epochen hinweg, intermittierend während des Trainings, die Leistung im Regime mit geringen Stichprobengrößen erheblich verbessern kann. Konkret schlagen wir vor, ein Netzwerk gleichzeitig auf zwei Aufgaben zu trainieren. Die primäre Klassifizierungsaufgabe wird sowohl mit unbeschrifteten als auch mit spärlich annotierten Daten konfrontiert, während die sekundäre Aufgabe darauf abzielt, die Daten ohne jegliche Labels zu clustern. Im Gegensatz zu handgefertigten Vorab-Aufgaben, die häufig in der Selbstüberwachung eingesetzt werden, nutzt unsere Clustering-Phase dasselbe Klassifizierungsnetzwerk und -kopf, um die primäre Aufgabe zu entlasten und die Informationen aus den Labels zu propagieren, ohne diese zu überanpassen. Darüber hinaus integrieren wir während der selbstüberwachten Lernphase eine selbstüberwachte Technik zur Klassifizierung von Bildrotationen, um das Training zu stabilisieren. Wir demonstrieren die Wirksamkeit unserer Methode, mehrere state-of-the-art-SSL-Algorithmen zu verbessern, wobei sowohl die Ergebnisse signifikant steigen als auch die Laufzeit in verschiedenen etablierten semi-supervised Benchmarks reduziert wird. So erreichen wir beispielsweise eine Genauigkeit von 92,6 % auf CIFAR-10 und 96,9 % auf SVHN, wobei jeweils nur 4 Labels pro Klasse verwendet werden. Außerdem verbessern wir die Ergebnisse deutlich in extremen Fällen mit jeweils nur 1, 2 oder 3 Labels pro Klasse und zeigen, dass die von unserem Modell gelernten Merkmale besser geeignet sind, die Daten zu trennen.