Promptes auto-régulés : adaptation du modèle fondamental sans oubli

L’apprentissage de prompts s’est imposé comme une alternative efficace au fine-tuning des modèles fondamentaux, tels que CLIP, pour diverses tâches en aval. En général, les prompts sont entraînés à l’aide d’une fonction objectif spécifique à la tâche, par exemple une perte d’entropie croisée, ce qui les pousse à surajuster aux distributions de données spécifiques à la tâche et à peine à capturer des caractéristiques générales indépendantes de la tâche à partir du modèle CLIP gelé. Ce phénomène entraîne une perte de la capacité originale de généralisation du modèle. Pour remédier à ce problème, nous proposons un cadre d’autorégularisation pour l’apprentissage de prompts, nommé PromptSRC (Prompting with Self-regulating Constraints). PromptSRC guide les prompts à optimiser à la fois des représentations spécifiques à la tâche et des représentations générales indépendantes de la tâche, grâce à une approche en trois volets : (a) régulation des représentations obtenues par les prompts via une maximisation de l’accord mutuel avec le modèle gelé ; (b) régulation par auto-ensemble des prompts au cours de la trajectoire d’entraînement, afin de capturer leurs forces complémentaires ; (c) régulation par diversité textuelle, afin de réduire le déséquilibre entre la diversité des échantillons et la branche visuelle. À notre connaissance, il s’agit du premier cadre de régularisation pour l’apprentissage de prompts qui évite le surajustement en tenant compte conjointement des caractéristiques du modèle pré-entraîné, de la trajectoire d’entraînement durant la phase de prompting, et de la diversité textuelle. PromptSRC guide explicitement les prompts vers un espace de représentation qui maximise les performances sur les tâches en aval sans compromettre la capacité de généralisation de CLIP. Nous menons des expériences étendues sur 4 benchmarks, où PromptSRC se distingue favorablement par rapport aux méthodes existantes. Notre code et les modèles pré-entraînés sont disponibles publiquement à l’adresse suivante : https://github.com/muzairkhattak/PromptSRC.