Divide and Contrast: Quellfreie Domänenanpassung mittels adaptiver kontrastiver Lernverfahren

Wir untersuchen eine praktische Aufgabe des Domänenadaption, namens source-free Domain Adaptation (SFUDA), bei der ein vortrainiertes Quellmodell an die Zieldomäne angepasst wird, ohne Zugriff auf die Quelldaten zu haben. Bestehende Ansätze stützen sich hauptsächlich auf selbstüberwachte Pseudolabeling zur Erzielung einer klassenweisen globalen Ausrichtung [1] oder nutzen lokale Strukturausziehung, um Merkmalskonsistenz innerhalb benachbarter Datenpunkte zu fördern [2]. Obwohl beachtliche Fortschritte erzielt wurden, weisen beide Ansätze jeweils eigene Schwächen auf: Der „globale“ Ansatz ist empfindlich gegenüber verrauschten Labels, während der „lokale“ Ansatz unter Quellverzerrung leidet. In diesem Artikel präsentieren wir Divide and Contrast (DaC), ein neues Paradigma für SFUDA, das darauf abzielt, die Vorzüge beider Ansätze zu vereinen, gleichzeitig aber deren Einschränkungen zu umgehen. Auf Basis der Vorhersagezuverlässigkeit des Quellmodells teilt DaC die Ziel-Daten in Quell-ähnliche und ziel-spezifische Proben auf, wobei jeweils eine maßgeschneiderte Zielsetzung innerhalb eines adaptiven Contrastive-Learning-Rahmens verfolgt wird. Konkret werden die Quell-ähnlichen Proben zur Lernung globaler Klassenkluster genutzt, da sie im Allgemeinen sauberere Labels aufweisen. Die rauschhafteren, ziel-spezifischen Daten werden hingegen auf Instanzebene genutzt, um die inhärenten lokalen Strukturen zu erfassen. Zudem führen wir eine Ausrichtung zwischen der Quell-ähnlichen Domäne und den ziel-spezifischen Proben mittels einer Memory-Bank-basierten Maximum Mean Discrepancy (MMD)-Verlustfunktion durch, um die Verteilungsdifferenz zu verringern. Umfangreiche Experimente auf den Datensätzen VisDA, Office-Home sowie dem anspruchsvolleren DomainNet bestätigen die überlegene Leistung von DaC gegenüber aktuellen state-of-the-art-Methoden. Der Quellcode ist unter https://github.com/ZyeZhang/DaC.git verfügbar.