Adaptation de domaine universelle par correspondance d'attention compressive

L’adaptation de domaine universelle (UniDA) vise à transférer des connaissances du domaine source vers le domaine cible sans aucune connaissance préalable sur l’ensemble des étiquettes. Le défi réside dans la détermination de la pertinence des échantillons cibles par rapport aux catégories communes. Les méthodes courantes se basent sur les caractéristiques des échantillons, ce qui accentue excessivement l’information globale tout en négligeant les objets locaux les plus cruciaux dans l’image, entraînant ainsi une précision limitée. Pour résoudre ce problème, nous proposons un cadre appelé Universal Attention Matching (UniAM), qui exploite le mécanisme d’attention auto dans les vision transformers afin de capturer efficacement les informations essentielles relatives aux objets. Le cadre proposé introduit une nouvelle approche, nommée Compressive Attention Matching (CAM), qui explore l’information fondamentale en représentant de manière compressée les attentes. En outre, CAM intègre une mesure basée sur le résidu pour évaluer la similarité des échantillons. Grâce à cette mesure, UniAM parvient à réaliser une Alignement des Caractéristiques Communes (CFA) au niveau des domaines et des catégories, ainsi qu’une Séparation des Classes Cibles (TCS). Notamment, UniAM est la première méthode à exploiter directement les attentes issues des vision transformers pour effectuer des tâches de classification. Des expériences étendues démontrent que UniAM surpasser les méthodes de pointe actuelles sur diverses bases de données standard.