Amélioration de l’adaptation de domaine par alignement du gradient de prompt

Les méthodes précédentes d’adaptation de domaine non supervisée (UDA) visent souvent à entraîner un extracteur de caractéristiques invariant au domaine, ce qui peut entraver l’apprentissage de caractéristiques suffisamment discriminantes. Pour remédier à ce problème, une lignée de travaux fondée sur l’apprentissage par prompt exploite la puissance des modèles pré-entraînés vision-langage à grande échelle afin d’apprendre à la fois des caractéristiques invariantes au domaine et des caractéristiques spécifiques au domaine à l’aide d’un ensemble de prompts apprenables, respectivement agnostiques au domaine et spécifiques au domaine. Ces études imposent généralement des contraintes d’invariance sur l’espace de représentation, l’espace de sortie ou l’espace de prompts pour apprendre ces prompts. À l’inverse, nous reformulons l’UDA comme un problème d’optimisation multi-objectifs, où chaque objectif est représenté par une perte liée à un domaine. Dans ce nouveau cadre, nous proposons d’aligner les gradients par objectif afin de favoriser un consensus entre eux. En outre, afin de prévenir un surapprentissage potentiel lors du finetuning de cette architecture d’apprentissage profond, nous pénalisons la norme de ces gradients. Pour atteindre ces objectifs, nous avons conçu une procédure pratique de mise à jour des gradients pouvant fonctionner aussi bien dans le cadre d’UDA à source unique que multi-sources. Expérimentalement, notre méthode surpasse de manière cohérente les autres méthodes d’adaptation basées sur les modèles vision-langage. Le code source est disponible à l’adresse suivante : https://github.com/VietHoang1512/PGA.