Klassenbewusste kontrastive halbüberwachte Lernverfahren

Pseudo-Label-basiertes semi-supervised Learning (SSL) hat erhebliche Erfolge bei der Nutzung von Rohdaten erzielt. Allerdings leidet sein Trainingsprozess aufgrund von Rauschen in den selbstgenerierten künstlichen Labels unter Bestätigungsverzerrung (confirmation bias). Zudem verschlechtert sich die Modellentscheidung in realen Anwendungen mit umfangreichem Out-of-Distribution-Datenmaterial. Um dieses Problem anzugehen, schlagen wir eine allgemeine Methode namens Class-aware Contrastive Semi-Supervised Learning (CCSSL) vor, die als plug-and-play-Hilfsmittel fungiert, um die Qualität der Pseudo-Labels zu verbessern und die Robustheit des Modells in realen Umgebungen zu erhöhen. Im Gegensatz zur Behandlung realer Daten als Vereinigungsmenge, verarbeitet unsere Methode verlässliche In-Distribution-Daten klassenweise mittels Clustering zur Integration in nachgeschaltete Aufgaben und rauschhafte Out-of-Distribution-Daten bildweise mittels Kontrastivität zur Verbesserung der Generalisierung. Darüber hinaus ermöglicht die Anwendung einer Zielgewichtung (target re-weighting), die Lernung sauberer Labels zu verstärken und gleichzeitig die Lernung verrauschter Labels zu reduzieren. Trotz seiner Einfachheit erreicht unser vorgeschlagenes CCSSL erhebliche Leistungsverbesserungen gegenüber den aktuellen State-of-the-Art-SSL-Methoden auf den Standard-Datensätzen CIFAR100 und STL10. Auf dem realen Datensatz Semi-iNat 2021 verbessern wir FixMatch um 9,80 % und CoMatch um 3,18 %. Der Quellcode ist verfügbar unter: https://github.com/TencentYoutuResearch/Classification-SemiCLS.