HyperAIHyperAI

Command Palette

Search for a command to run...

Tuning de prompt visuel pour l’adaptation de domaine en temps de test

Yunhe Gao Xingjian Shi Yi Zhu Hao Wang Zhiqiang Tang Xiong Zhou Mu Li Dimitris N. Metaxas

Résumé

Les modèles doivent être capables de s’adapter aux données inédites au moment du test afin d’éviter les baisses de performance dues aux décalages de distribution inévitables dans les scénarios réels de déploiement. Dans ce travail, nous abordons le problème pratique mais difficile de l’adaptation au moment du test (TTA), où un modèle s’adapte au domaine cible sans accès aux données sources. Nous proposons une méthode simple, appelée Tuning de Prompt Économique en Données (DePT), fondée sur deux composantes clés. Premièrement, DePT intègre des prompts visuels dans le modèle Vision Transformer et ne met à jour que ces prompts initialisés à partir des données sources pendant l’adaptation. Nous constatons que ce type d’ajustement efficace en paramètres permet d’adapter efficacement la représentation du modèle au domaine cible, sans surajuster au bruit présent dans la fonction d’apprentissage. Deuxièmement, DePT transfère la représentation source vers le domaine cible grâce à une étiquetage pseudo-en-ligne basé sur une mémoire. Un régularisation auto-supervisée hiérarchique spécifiquement conçue pour les prompts est optimisée conjointement afin de limiter l’accumulation d’erreurs durant l’auto-entraînement. Avec bien moins de paramètres ajustables, DePT atteint non seulement des performances de pointe sur des benchmarks d’adaptation majeurs tels que VisDA-C, ImageNet-C et DomainNet-126, mais aussi une efficacité exceptionnelle en données : l’adaptation avec seulement 1 % ou 10 % des données entraîne une dégradation négligeable par rapport à l’utilisation de 100 % des données. En outre, DePT est également polyvalent et peut être étendu à des scénarios d’adaptation en ligne ou multi-sources.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp