Transformateur sensible à la transférabilité de la fusion de caractéristiques pour l'adaptation de domaine non supervisée

L’adaptation de domaine non supervisée (UDA) vise à exploiter les connaissances acquises à partir de domaines sources étiquetés afin d’améliorer les performances sur des domaines cibles non étiquetés. Bien que les réseaux de neurones convolutifs (CNN) aient dominé les approches UDA antérieures, des recherches récentes ont montré un potentiel prometteur dans l’application des Vision Transformers (ViTs) à cette tâche. Dans cette étude, nous proposons un nouveau modèle, le Transformer à transférabilité des caractéristiques aware (FFTAT), visant à améliorer les performances des ViTs dans les tâches d’UDA. Notre méthode introduit deux innovations clés : premièrement, nous proposons un discriminateur de patch pour évaluer la transférabilité des patches, générant ainsi une matrice de transférabilité. Cette matrice est intégrée dans le mécanisme d’attention auto, guidant le modèle à se concentrer sur les patches transférables. Deuxièmement, nous introduisons une technique de fusion de caractéristiques permettant de combiner les embeddings dans l’espace latent, de sorte que chaque embedding puisse intégrer des informations provenant de tous les autres, améliorant ainsi la généralisation. Ces deux composants agissent de manière synergique pour renforcer l’apprentissage des représentations de caractéristiques. Des expériences étendues sur des benchmarks largement utilisés démontrent que notre méthode améliore significativement les performances en UDA, atteignant des résultats de pointe (SOTA).