Kontrastive Regularisierung für semi-supervised Learning

Die Konsistenzregularisierung auf Label-Vorhersagen ist zu einer grundlegenden Technik im halbüberwachten Lernen geworden, erfordert jedoch weiterhin eine große Anzahl an Trainingsiterationen, um hohe Leistung zu erzielen. In dieser Studie analysieren wir, dass die Konsistenzregularisierung die Propagation von Label-Informationen einschränkt, da Proben mit unzuverlässigen Pseudolabels bei den Modellaktualisierungen ausgeschlossen werden. Anschließend stellen wir eine kontrastive Regularisierung vor, die sowohl die Effizienz als auch die Genauigkeit der Konsistenzregularisierung durch gut gruppierte Merkmale unlabeleder Daten verbessert. Konkret werden stark augmentierte Proben nach ihren Pseudolabels in Cluster eingeteilt, und unsere kontrastive Regularisierung aktualisiert das Modell derart, dass Merkmale mit zuverlässigen Pseudolabels die Merkmale im selben Cluster zusammenziehen, während Merkmale aus anderen Clustern abgestoßen werden. Dadurch kann die Information zuverlässiger Pseudolabels effektiv auf weitere unlabelede Proben während des Trainings übertragen werden, dank der gut strukturierten Merkmale. Auf Standardbenchmarks halbüberwachter Lernaufgaben verbessert unsere kontrastive Regularisierung die bisherigen konsistenzbasierten Methoden und erreicht state-of-the-art Ergebnisse, insbesondere mit weniger Trainingsiterationen. Unser Ansatz zeigt zudem robuste Leistung im offenen-Set halbüberwachten Lernen, bei dem unlabelede Daten auch außerhalb der Verteilung liegende Proben enthalten können.