Adaptation au décalage de distribution par génération de prompt de domaine visuel

Dans cet article, nous visons à adapter un modèle au moment du test en utilisant un petit nombre de données non étiquetées afin de faire face aux décalages de distribution. Pour relever les défis liés à l’extraction de connaissances sur le domaine à partir d’un volume limité de données, il est essentiel d’exploiter l’information corrélée provenant des modèles pré-entraînés (backbones) et des domaines sources. Les travaux antérieurs échouent à tirer parti des modèles fondamentaux récents, qui possèdent une forte capacité de généralisation hors distribution. En outre, leurs approches ne s’inspirent pas d’une conception centrée sur le domaine. Par ailleurs, ils traitent séparément le processus de modélisation des domaines sources et celui de l’apprentissage de l’adaptation, en les plaçant dans des étapes d’entraînement disjointes. Dans ce travail, nous proposons une méthode basée sur les caractéristiques prédéfinies du modèle fondamental. Plus précisément, nous construisons une banque de connaissances afin d’apprendre les connaissances transférables provenant des domaines sources. En s’appuyant sur un petit nombre de données cibles (few-shot), nous introduisons un générateur de prompt de domaine pour condenser la banque de connaissances en un prompt spécifique au domaine. Ce prompt de domaine oriente ensuite les caractéristiques visuelles vers un domaine particulier via un module de guidance. En outre, nous proposons une perte contrastive consciente du domaine et utilisons l’apprentissage métadonnées afin de faciliter l’extraction des connaissances sur le domaine. Des expériences étendues sont menées pour valider l’extraction de connaissances sur le domaine. La méthode proposée surpasser les approches antérieures sur cinq grands jeux de données, notamment WILDS et DomainNet.