CDTrans: Cross-domain Transformer für unsupervised Domain Adaptation

Unsupervised Domain Adaptation (UDA) zielt darauf ab, Wissen, das aus einem beschrifteten Quelldomäne erlernt wurde, auf eine unterschiedliche, unbeschriftete Ziel-Domäne zu übertragen. Die meisten bestehenden UDA-Methoden konzentrieren sich darauf, domäneninvariante Merkmalsdarstellungen auf Ebene der Domäne oder der Kategorie zu lernen, wobei meist Frameworks auf Basis von Faltungsneuronalen Netzen (CNNs) verwendet werden. Ein grundlegendes Problem bei UDA-Methoden auf Kategorie-Ebene ist die Generierung von Pseudolabels für die Proben in der Ziel-Domäne, die oft zu geräuschbehaftet sind, um eine präzise Domänenanpassung zu ermöglichen, was die UDA-Leistung zwangsläufig beeinträchtigt. Mit dem Erfolg von Transformer-Modellen in verschiedenen Aufgaben stellen wir fest, dass der Kreuz-Attention-Mechanismus in Transformer gegenüber geräuschbehafteten Eingabepaaren robuster ist und somit eine bessere Merkmalsanpassung ermöglicht. Daher wird in diesem Artikel Transformer für die anspruchsvolle UDA-Aufgabe eingesetzt. Konkret entwerfen wir einen zweizeitigen, zentrumsbasierten Labeling-Algorithmus, um genaue Eingabepaare zu generieren und damit präzise Pseudolabels für die Zielproben zu erzeugen. Zusätzlich zu den Pseudolabels wird ein gewichteteilender, dreigeteilter Transformer-Framework vorgeschlagen, das Selbst-Attention zur Merkmalslernen in Quelle und Ziel sowie Kreuz-Attention zur Anpassung zwischen Quelle und Ziel einsetzt. Diese Architektur zwingt den Rahmen explizit, gleichzeitig diskriminative domänenspezifische und domäneninvariante Darstellungen zu lernen. Die vorgeschlagene Methode wird als CDTrans (Cross-Domain Transformer) bezeichnet und stellt eine der ersten Versuche dar, UDA-Aufgaben mit einer rein transformer-basierten Lösung zu lösen. Experimente zeigen, dass unsere Methode die beste Leistung auf öffentlichen UDA-Datensätzen wie VisDA-2017 und DomainNet erzielt. Der Quellcode und die Modelle sind unter https://github.com/CDTrans/CDTrans verfügbar.