Ausnutzung der inhärenten Nachbarschaftsstruktur für source-free Domain Adaptation

Domain Adaptation (DA) zielt darauf ab, die Domänenverschiebung zwischen Quell- und Ziel-Domäne zu verringern. Die meisten DA-Methoden erfordern den Zugriff auf die Quelldaten, was jedoch oft nicht möglich ist (z. B. aufgrund von Datenschutz- oder Urheberrechtsbedenken). In diesem Artikel behandeln wir das anspruchsvolle Problem des source-free Domain Adaptation (SFDA), bei dem ein vortrainiertes Quellmodell an die Ziel-Domäne angepasst wird, ohne Zugriff auf die Quelldaten. Unsere Methode basiert auf der Beobachtung, dass Ziel-Daten, die möglicherweise nicht mehr mit dem Klassifikator der Quell-Domäne übereinstimmen, weiterhin deutliche Cluster bilden. Wir erfassen diese inhärente Struktur, indem wir die lokale Affinität der Ziel-Daten definieren, und fördern die Label-Konsistenz zwischen Daten mit hoher lokaler Affinität. Wir beobachten, dass einer gegenseitigen Nachbarschaft eine höhere Affinität zugeordnet werden sollte, und schlagen eine selbstregulierende Verlustfunktion vor, um die negativen Auswirkungen von verrauschten Nachbarn zu verringern. Darüber hinaus berücksichtigen wir zur besseren Informationsaggregation erweiterte Nachbarschaften mit geringen Affinitätswerten. In den experimentellen Ergebnissen bestätigen wir, dass die inhärente Struktur der Ziel-Features eine wichtige Informationsquelle für das Domain Adaptation darstellt. Wir zeigen, dass diese lokale Struktur effizient erfasst werden kann, indem man lokale Nachbarn, gegenseitige Nachbarn sowie erweiterte Nachbarschaften berücksichtigt. Schließlich erreichen wir state-of-the-art-Leistungen auf mehreren 2D-Bild- und 3D-Punktwolken-Erkennungsdatenbanken. Der Quellcode ist verfügbar unter https://github.com/Albert0147/SFDA_neighbors.