PADCLIP: Pseudo-Labeling mit adaptiver Debiasing in CLIP für unsupervised Domain Adaptation
{Chen-Nee Chuah Kah Kuen Fu Xuelu Li Cong Phuoc Huynh Jun Wu Ning Zhou Noranart Vesdapunt Zhengfeng Lai}

Abstract
Traditionelle unüberwachte Domänenanpassung (UDA) nutzt den beschrifteten Quellbereich, um Lernaufgaben im unbeschrifteten Zielbereich zu bewältigen. Dies wird jedoch herausfordernder, wenn zwischen Quell- und Zielbereich ein großer Domänenabstand besteht. Eine praktikablere Herangehensweise besteht darin, ein großskaliges vortrainiertes Modell einzusetzen, um den Domänenabstand zu überbrücken. Beispielsweise zeigt CLIP eine vielversprechende Zero-Shot-Verallgemeinerungsfähigkeit, um diese Lücke zu schließen. Nach der Anwendung traditioneller Feinabstimmung zur spezifischen Anpassung von CLIP an einen Zielbereich leidet CLIP jedoch unter katastrophalem Vergessen, bei dem das neu erlernte Domänenwissen schnell das vortrainierte Wissen von CLIP verdrängen und die Genauigkeit um die Hälfte verringern kann. Wir schlagen eine Messung katastrophalen Vergessens (Catastrophic Forgetting Measurement, CFM) vor, um die Lernrate anzupassen und eine übermäßige Trainingsdauer zu vermeiden (damit das Problem des katastrophalen Vergessens gemildert wird). Anschließend nutzen wir die Zero-Shot-Vorhersage von CLIP, um eine Pseudolabeling-Formulierung mit adaptiver Entschiedenheit in CLIP (PADCLIP) zu konzipieren, indem wir die kausale Inferenz mit unserem Momentum- und CFM-Ansatz anpassen. Unser PADCLIP ermöglicht eine end-to-end-Trainingsstrategie über Quell- und Zielbereiche hinweg ohne zusätzlichen Overhead und erreicht auf vier öffentlichen Datensätzen die besten Ergebnisse, wobei eine signifikante Verbesserung um +18,5 % Genauigkeit auf DomainNet erzielt wird.
Benchmarks
| Benchmark | Methodik | Metriken |
|---|---|---|
| unsupervised-domain-adaptation-on-domainnet-1 | PADCLIP | Accuracy: 63.7 |
KI mit KI entwickeln
Von der Idee bis zum Start — beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und den besten GPU-Preisen.