USB: Ein einheitlicher semi-supervisierter Lernbenchmark für Klassifikation

Semi-supervised Learning (SSL) verbessert die Generalisierungsfähigkeit von Modellen, indem es große Mengen an unlabeled Daten nutzt, um begrenzte gelabelte Beispiele zu ergänzen. Derzeit sind jedoch gängige Evaluationsprotokolle für SSL häufig auf Aufgaben im Bereich Computer Vision (CV) beschränkt. Zudem wird in früheren Arbeiten typischerweise von Grund auf tiefgehende neuronale Netze trainiert, was zeitaufwendig und umweltbelastend ist. Um diese Probleme anzugehen, erstellen wir eine Unified SSL Benchmark (USB) für Klassifikationsaufgaben, indem wir 15 unterschiedliche, anspruchsvolle und umfassende Aufgaben aus den Bereichen CV, Natural Language Processing (NLP) und Audioverarbeitung auswählen. Auf diesen Aufgaben führen wir eine systematische Evaluation der dominierenden SSL-Methoden durch und stellen zudem eine modulare und erweiterbare Codebasis frei, die eine faire Bewertung dieser SSL-Methoden ermöglicht. Darüber hinaus stellen wir vortrainierte Versionen von state-of-the-art neuronalen Modellen für CV-Aufgaben bereit, um die Kosten für nachfolgende Feinabstimmungen erschwinglich zu gestalten. Die USB ermöglicht die Bewertung eines einzelnen SSL-Algorithmus auf mehreren Aufgaben aus mehreren Domänen bei geringerem Aufwand. Konkret werden auf einer einzigen NVIDIA V100 lediglich 39 GPU-Tage benötigt, um FixMatch auf 15 Aufgaben in der USB zu evaluieren, während für die Evaluierung von FixMatch auf 5 CV-Aufgaben mit TorchSSL 335 GPU-Tage (279 GPU-Tage auf 4 CV-Datensätzen außer ImageNet) erforderlich sind.