Command Palette
Search for a command to run...
Feature Fusion Transferability Aware Transformer für unsupervised Domain Adaptation
Feature Fusion Transferability Aware Transformer für unsupervised Domain Adaptation
Xiaowei Yu Zhe Huang Zao Zhang
Zusammenfassung
Unsupervised Domain Adaptation (UDA) zielt darauf ab, das aus gelabelten Quelldomänen erlernte Wissen zu nutzen, um die Leistung auf ungelabelten Zieldomänen zu verbessern. Während Convolutional Neural Networks (CNNs) in früheren UDA-Methoden dominiert haben, zeigt jüngste Forschung vielversprechende Ergebnisse bei der Anwendung von Vision Transformers (ViTs) für diese Aufgabe. In dieser Studie stellen wir einen neuartigen Feature Fusion Transferability Aware Transformer (FFTAT) vor, um die Leistung von ViTs in UDA-Aufgaben zu steigern. Unsere Methode führt zwei zentrale Innovationen ein: Erstens führen wir einen Patch-Discriminator ein, um die Transferierbarkeit von Patchen zu bewerten und eine Transferierbarkeitsmatrix zu generieren. Diese Matrix wird in das Self-Attention-Modul integriert, wodurch das Modell daraufhin gezielt auf transferierbare Patchen fokussiert. Zweitens schlagen wir eine Feature-Fusions-Technik vor, um Embeddings im latenten Raum zu kombinieren, sodass jedes Embedding Informationen aus allen anderen Embeddings aufnehmen kann und somit die Generalisierbarkeit verbessert wird. Diese beiden Komponenten wirken synergistisch und stärken die Lernung von Merkmalsdarstellungen. Umfangreiche Experimente auf etablierten Benchmarks zeigen, dass unsere Methode die UDA-Leistung signifikant verbessert und state-of-the-art (SOTA)-Ergebnisse erzielt.