OpenMatch: Offenes Halbüberwachtes Lernen mit offener Konsistenz-Regularisierung

Semi-supervised Learning (SSL) ist eine effektive Methode, um ungeetikettierte Daten zur Verbesserung der Leistung eines Modells zu nutzen. Typische SSL-Verfahren wie FixMatch gehen davon aus, dass gelabelte und ungeetikettierte Daten denselben Labelraum teilen. In der Praxis können jedoch ungeetikettierte Daten Kategorien enthalten, die im gelabelten Datensatz nicht vorkommen, also sogenannte Ausreißer, welche die Leistung von SSL-Algorithmen erheblich beeinträchtigen können. Um dieses Problem anzugehen, schlagen wir einen neuen Ansatz für das Open-set Semi-Supervised Learning (OSSL), namens OpenMatch, vor. Die Lernung von Repräsentationen für Inlier und gleichzeitiges Ablehnen von Ausreißern ist entscheidend für den Erfolg von OSSL. Hierzu vereint OpenMatch FixMatch mit einer Novelty-Detection basierend auf One-vs-All (OVA)-Klassifikatoren. Der OVA-Klassifikator liefert eine Konfidenzscore für ein Sample, ob es ein Inlier ist, und ermöglicht so eine Schwellenwert-basierte Ausreißererkennung. Ein weiterer zentraler Beitrag ist eine Open-set Soft-Consistency-Regularisierungsverlustfunktion, die die Glätte des OVA-Klassifikators bezüglich Eingabetransformationen erhöht und die Ausreißererkennung erheblich verbessert. Unsere Methode erreicht state-of-the-art Ergebnisse auf drei Datensätzen und übertrifft sogar ein vollständig überwachtes Modell bei der Erkennung von Ausreißern, die im ungeetikettierten Datensatz nicht vorkamen, auf CIFAR10. Der Quellcode ist unter url{https://github.com/VisionLearningGroup/OP_Match} verfügbar.