Adaptation de domaine sans source par génération et adaptation de prototypes Avatar

Nous étudions une tâche pratique d’adaptation de domaine, appelée adaptation de domaine non supervisée sans source (source-free unsupervised domain adaptation, UDA), dans laquelle l’accès aux données du domaine source est impossible en raison de contraintes de confidentialité des données, ne laissant disponibles qu’un modèle pré-entraîné issu du domaine source et des données non étiquetées du domaine cible. Cette tâche s’avère toutefois extrêmement difficile en raison d’un défi majeur : l’absence de données du domaine source ainsi que de labels pour le domaine cible rend l’adaptation du modèle particulièrement ardue. Pour surmonter ce problème, nous proposons d’extraire les connaissances implicites présentes dans le modèle source et de les exploiter afin de générer des prototypes d’avatars source (c’est-à-dire des caractéristiques représentatives pour chaque classe source) ainsi que des pseudo-étiquettes pour le domaine cible, en vue d’assurer une alignment entre les domaines. À cette fin, nous introduisons une méthode appelée génération et adaptation contrastive de prototypes (Contrastive Prototype Generation and Adaptation, CPGA). Plus précisément, CPGA se compose de deux étapes : (1) génération de prototypes : en exploitant les informations relatives à la frontière de classification du modèle source, nous entraînons un générateur de prototypes pour produire des prototypes d’avatars via un apprentissage contrastif ; (2) adaptation des prototypes : à partir des prototypes source générés et des pseudo-étiquettes cibles, nous développons une nouvelle stratégie robuste d’adaptation contrastive des prototypes, permettant d’aligner chaque échantillon cible pseudo-étiquetée sur le prototype source correspondant. Des expériences étendues sur trois jeux de données standard d’adaptation de domaine démontrent l’efficacité et la supériorité de la méthode proposée.