PADCLIP : étiquetage par pseudo-étiquetage avec débiaisage adaptatif dans CLIP pour l’adaptation de domaine non supervisée

L’adaptation de domaine non supervisée classique (UDA) exploite le domaine source étiqueté afin de traiter les tâches d’apprentissage sur un domaine cible non étiqueté. Cette approche devient particulièrement difficile lorsque l’écart de domaine entre le domaine source et le domaine cible est important. Un cadre plus réaliste consiste à utiliser un modèle pré-entraîné à grande échelle pour combler cet écart de domaine. Par exemple, CLIP démontre une généralisation zéro-shot prometteuse pour réduire cet écart. Toutefois, après avoir appliqué une fine-tuning classique pour adapter spécifiquement CLIP à un domaine cible, celui-ci souffre d’un problème de oublie catastrophique : les connaissances acquises sur le nouveau domaine peuvent rapidement supplanter les connaissances pré-entraînées de CLIP, entraînant une baisse de précision d’environ 50 %. Nous proposons une mesure de l’oubli catastrophique (CFM) afin d’ajuster dynamiquement le taux d’apprentissage et éviter un entraînement excessif (ce qui atténue ainsi le problème de l’oubli catastrophique). Ensuite, nous utilisons les prédictions zéro-shot de CLIP pour formuler un cadre de pseudo-étiquetage avec débiaisage adaptatif dans CLIP (PADCLIP), en ajustant l’inférence causale grâce à notre mécanisme de momentum et à la CFM. Notre méthode PADCLIP permet un entraînement end-to-end sur les domaines source et cible sans surcharge supplémentaire, et atteint les meilleurs résultats sur quatre jeux de données publics, avec une amélioration significative de +18,5 % de précision sur DomainNet.