CDTrans : Transformateur cross-domain pour l’adaptation de domaine non supervisée

L’adaptation de domaine non supervisée (UDA) vise à transférer les connaissances acquises à partir d’un domaine source étiqueté vers un domaine cible différent non étiqueté. La plupart des méthodes UDA existantes se concentrent sur l’apprentissage de représentations de caractéristiques invariantes par rapport au domaine, soit au niveau du domaine, soit au niveau de la catégorie, en utilisant des cadres basés sur les réseaux de neurones convolutifs (CNN). Un problème fondamental des approches UDA basées sur le niveau de catégorie réside dans la génération d’étiquettes pseudo pour les échantillons du domaine cible, qui sont généralement trop bruitées pour permettre un alignement de domaine précis, compromettant inévitablement les performances de l’UDA. À la suite du succès des Transformers dans diverses tâches, nous observons que l’attention croisée dans les Transformers est robuste aux paires d’entrée bruitées, permettant un meilleur alignement des caractéristiques. Ainsi, dans cet article, nous adoptons les Transformers pour aborder la tâche exigeante d’UDA. Plus précisément, afin de générer des paires d’entrée précises, nous proposons un algorithme d’étiquetage à double sens et centré sur les centres pour produire des étiquettes pseudo sur les échantillons cibles. En complément de ces étiquettes pseudo, nous introduisons un cadre de Transformer à trois branches partageant les poids, permettant d’appliquer l’attention auto-attention pour l’apprentissage des caractéristiques source et cible, et l’attention croisée pour l’alignement entre les domaines source et cible. Cette architecture impose explicitement au modèle d’apprendre simultanément des représentations discriminantes spécifiques au domaine et invariantes au domaine. La méthode proposée est désignée CDTrans (Transformer cross-domain), et constitue l’une des premières tentatives de résoudre les tâches UDA à l’aide d’une solution purement basée sur les Transformers. Les expériences montrent que notre méthode atteint les meilleures performances sur des jeux de données UDA publics, tels que VisDA-2017 et DomainNet. Le code et les modèles sont disponibles à l’adresse suivante : https://github.com/CDTrans/CDTrans.