HyperAIHyperAI

Command Palette

Search for a command to run...

Wahrscheinlichkeitsbasiertes kontrastives Lernen für Domänenanpassung

Junjie Li Yixin Zhang Zilei Wang Saihui Hou Keyu Tu Man Zhang

Zusammenfassung

Kontrastive Lernverfahren haben sich bei der Verbesserung der Merkmalsunterscheidbarkeit für verschiedene visuelle Aufgaben auf selbstüberwachter Basis als äußerst erfolgreich erwiesen. Allerdings bieten die herkömmlichen kontrastiven Paradigmen (Merkmale + ℓ₂-Normalisierung) bei der Domänenanpassung nur begrenzte Vorteile. Wir stellen fest, dass dies hauptsächlich darauf zurückzuführen ist, dass die Klassen-Gewichte (Gewichte der letzten vollständig verbundenen Schicht) im Optimierungsprozess der Domänenanpassung ignoriert werden, was es den Merkmalen erschwert, sich um die entsprechenden Klassengewichte zu gruppieren. Um dieses Problem zu lösen, schlagen wir einen einfachen, aber leistungsfähigen Ansatz namens Probabilistisches Kontrastives Lernen (PCL) vor, der das klassische Paradigma überwindet, indem er die ℓ₂-Normalisierung entfernt und die Merkmale durch Wahrscheinlichkeiten ersetzt. PCL kann die Wahrscheinlichkeitsverteilung gezielt in eine One-Hot-Konfiguration führen und damit die Diskrepanz zwischen Merkmalen und Klassengewichten minimieren. Wir führen umfangreiche Experimente durch, um die Wirksamkeit von PCL zu validieren, und beobachten konsistente Leistungssteigerungen bei fünf Aufgaben: Unüberwachter/Semi-unüberwachter Domänenanpassung (UDA/SSDA), Semi-unüberwachtes Lernen (SSL), UDA-Detektion und semantische Segmentierung. Besonders hervorzuheben ist, dass PCL bei der UDA-Segmentierung auf dem SYNTHIA-Datensatz den anspruchsvollen CPSL-D-Ansatz um mehr als 2 % im mittleren IoU übertrifft, wobei der Trainingsaufwand deutlich geringer ist (PCL: 1×3090, 5 Tage vs. CPSL-D: 4×V100, 11 Tage). Der Quellcode ist unter https://github.com/ljjcoder/Probabilistic-Contrastive-Learning verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp