Tuning de prompt visuel pour l’adaptation de domaine en temps de test

Les modèles doivent être capables de s’adapter aux données inédites au moment du test afin d’éviter les baisses de performance dues aux décalages de distribution inévitables dans les scénarios réels de déploiement. Dans ce travail, nous abordons le problème pratique mais difficile de l’adaptation au moment du test (TTA), où un modèle s’adapte au domaine cible sans accès aux données sources. Nous proposons une méthode simple, appelée Tuning de Prompt Économique en Données (DePT), fondée sur deux composantes clés. Premièrement, DePT intègre des prompts visuels dans le modèle Vision Transformer et ne met à jour que ces prompts initialisés à partir des données sources pendant l’adaptation. Nous constatons que ce type d’ajustement efficace en paramètres permet d’adapter efficacement la représentation du modèle au domaine cible, sans surajuster au bruit présent dans la fonction d’apprentissage. Deuxièmement, DePT transfère la représentation source vers le domaine cible grâce à une étiquetage pseudo-en-ligne basé sur une mémoire. Un régularisation auto-supervisée hiérarchique spécifiquement conçue pour les prompts est optimisée conjointement afin de limiter l’accumulation d’erreurs durant l’auto-entraînement. Avec bien moins de paramètres ajustables, DePT atteint non seulement des performances de pointe sur des benchmarks d’adaptation majeurs tels que VisDA-C, ImageNet-C et DomainNet-126, mais aussi une efficacité exceptionnelle en données : l’adaptation avec seulement 1 % ou 10 % des données entraîne une dégradation négligeable par rapport à l’utilisation de 100 % des données. En outre, DePT est également polyvalent et peut être étendu à des scénarios d’adaptation en ligne ou multi-sources.