HyperAIHyperAI

Command Palette

Search for a command to run...

Adaptation au décalage de distribution par génération de prompt de domaine visuel

Zhixiang Chi Li Gu Tao Zhong Huan Liu Yuanhao Yu Konstantinos N Plataniotis Yang Wang

Résumé

Dans cet article, nous visons à adapter un modèle au moment du test en utilisant un petit nombre de données non étiquetées afin de faire face aux décalages de distribution. Pour relever les défis liés à l’extraction de connaissances sur le domaine à partir d’un volume limité de données, il est essentiel d’exploiter l’information corrélée provenant des modèles pré-entraînés (backbones) et des domaines sources. Les travaux antérieurs échouent à tirer parti des modèles fondamentaux récents, qui possèdent une forte capacité de généralisation hors distribution. En outre, leurs approches ne s’inspirent pas d’une conception centrée sur le domaine. Par ailleurs, ils traitent séparément le processus de modélisation des domaines sources et celui de l’apprentissage de l’adaptation, en les plaçant dans des étapes d’entraînement disjointes. Dans ce travail, nous proposons une méthode basée sur les caractéristiques prédéfinies du modèle fondamental. Plus précisément, nous construisons une banque de connaissances afin d’apprendre les connaissances transférables provenant des domaines sources. En s’appuyant sur un petit nombre de données cibles (few-shot), nous introduisons un générateur de prompt de domaine pour condenser la banque de connaissances en un prompt spécifique au domaine. Ce prompt de domaine oriente ensuite les caractéristiques visuelles vers un domaine particulier via un module de guidance. En outre, nous proposons une perte contrastive consciente du domaine et utilisons l’apprentissage métadonnées afin de faciliter l’extraction des connaissances sur le domaine. Des expériences étendues sont menées pour valider l’extraction de connaissances sur le domaine. La méthode proposée surpasser les approches antérieures sur cinq grands jeux de données, notamment WILDS et DomainNet.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp