Universelle Domänenanpassung mittels komprimierender Aufmerksamkeitsanpassung

Universelle Domänenanpassung (UniDA) zielt darauf ab, Wissen aus der Quelldomäne auf die Zieldomäne zu übertragen, ohne vorherige Kenntnisse über die Klassenmenge der Zieldomäne zu besitzen. Die zentrale Herausforderung besteht darin, zu bestimmen, ob die Zielproben zu gemeinsamen Klassen gehören. Die gängigen Ansätze treffen solche Entscheidungen basierend auf den Merkmalen der Proben, wobei globaler Information zu viel Gewicht beigemessen wird, während die entscheidenden lokalen Objekte im Bild vernachlässigt werden, was zu begrenzter Genauigkeit führt. Um dieses Problem zu lösen, schlagen wir einen Universal Attention Matching (UniAM)-Rahmen vor, der die Selbst-Attention-Mechanismen in Vision Transformers nutzt, um die kritischen Objektinformationen zu erfassen. Der vorgeschlagene Rahmen führt eine neuartige kompressive Aufmerksamkeitsübereinstimmung (Compressive Attention Matching, CAM) ein, um die zentralen Informationen durch kompakte Repräsentationen der Aufmerksamkeiten zu erfassen. Darüber hinaus integriert CAM eine auf Residuen basierende Messung, um die Gemeinsamkeit der Proben zu bestimmen. Mittels dieser Messung erreicht UniAM eine gemeinsame Merkmalsausrichtung (Common Feature Alignment, CFA) sowohl auf Domänen- als auch auf Klassen-Ebene sowie eine Trennung der Zielklassen (Target Class Separation, TCS). Besonders hervorzuheben ist, dass UniAM die erste Methode ist, die die Aufmerksamkeiten in Vision Transformers direkt zur Durchführung von Klassifikationsaufgaben nutzt. Umfangreiche Experimente zeigen, dass UniAM die aktuellen State-of-the-Art-Methoden auf verschiedenen Benchmark-Datensätzen übertrifft.