Wahrscheinlichkeitsbasiertes kontrastives Lernen für Domänenanpassung

Kontrastive Lernverfahren haben sich bei der Verbesserung der Merkmalsunterscheidbarkeit für verschiedene visuelle Aufgaben auf selbstüberwachter Basis als äußerst erfolgreich erwiesen. Allerdings bieten die herkömmlichen kontrastiven Paradigmen (Merkmale + ℓ₂-Normalisierung) bei der Domänenanpassung nur begrenzte Vorteile. Wir stellen fest, dass dies hauptsächlich darauf zurückzuführen ist, dass die Klassen-Gewichte (Gewichte der letzten vollständig verbundenen Schicht) im Optimierungsprozess der Domänenanpassung ignoriert werden, was es den Merkmalen erschwert, sich um die entsprechenden Klassengewichte zu gruppieren. Um dieses Problem zu lösen, schlagen wir einen einfachen, aber leistungsfähigen Ansatz namens Probabilistisches Kontrastives Lernen (PCL) vor, der das klassische Paradigma überwindet, indem er die ℓ₂-Normalisierung entfernt und die Merkmale durch Wahrscheinlichkeiten ersetzt. PCL kann die Wahrscheinlichkeitsverteilung gezielt in eine One-Hot-Konfiguration führen und damit die Diskrepanz zwischen Merkmalen und Klassengewichten minimieren. Wir führen umfangreiche Experimente durch, um die Wirksamkeit von PCL zu validieren, und beobachten konsistente Leistungssteigerungen bei fünf Aufgaben: Unüberwachter/Semi-unüberwachter Domänenanpassung (UDA/SSDA), Semi-unüberwachtes Lernen (SSL), UDA-Detektion und semantische Segmentierung. Besonders hervorzuheben ist, dass PCL bei der UDA-Segmentierung auf dem SYNTHIA-Datensatz den anspruchsvollen CPSL-D-Ansatz um mehr als 2 % im mittleren IoU übertrifft, wobei der Trainingsaufwand deutlich geringer ist (PCL: 1×3090, 5 Tage vs. CPSL-D: 4×V100, 11 Tage). Der Quellcode ist unter https://github.com/ljjcoder/Probabilistic-Contrastive-Learning verfügbar.