Alignement de distribution basé sur les prompts pour l'adaptation de domaine non supervisée

Récemment, malgré le succès sans précédent des grands modèles pré-entraînés visuels-langagiers (VLM) sur une large gamme de tâches en aval, le problème réel d’adaptation de domaine non supervisée (UDA) reste peu exploré. Ainsi, dans cet article, nous démontrons expérimentalement pour la première fois que les VLM entraînés de manière non supervisée peuvent réduire significativement l’écart de distribution entre les domaines source et cible, améliorant ainsi les performances de l’UDA. Toutefois, un défi majeur lié au déploiement direct de tels modèles sur des tâches UDA en aval réside dans l’ingénierie des prompts, qui nécessite une alignement des connaissances de domaine entre les domaines source et cible, car les performances de l’UDA sont fortement influencées par une représentation invariante au domaine. Nous proposons par la suite une méthode appelée PDA (Prompt-based Distribution Alignment), visant à intégrer les connaissances de domaine dans l’apprentissage des prompts. Plus précisément, PDA met en œuvre un paradigme de prompt-tuning à deux branches : une branche de base et une branche d’alignement. La branche de base se concentre sur l’intégration de représentations liées aux classes dans les prompts, garantissant une discrimination efficace entre les différentes classes. Pour réduire davantage l’écart de domaine, la branche d’alignement construit des banques de caractéristiques pour les deux domaines (source et cible) et introduit une méthode d’ajustement des caractéristiques guidées par image (IFT), permettant à l’entrée de s’attarder sur ces banques de caractéristiques, intégrant ainsi de manière efficace des caractéristiques auto-améliorées et des caractéristiques transverses aux domaines dans le modèle. Ainsi, ces deux branches s’auto-renforcent mutuellement, améliorant ainsi l’adaptation des VLM à l’UDA. Nous menons des expériences étendues sur trois benchmarks, démontrant que notre méthode PDA atteint des performances de pointe. Le code est disponible à l’adresse suivante : https://github.com/BaiShuanghao/Prompt-based-Distribution-Alignment.