Selbstregulierende Prompts: Grundmodell-Anpassung ohne Vergessen

Prompt-Lernen ist als effiziente Alternative zum Feintuning grundlegender Modelle wie CLIP für verschiedene Downstream-Aufgaben hervorgetreten. Konventionell mit einer auf die jeweilige Aufgabe zugeschnittenen Zielgröße – beispielsweise der Kreuzentropieverlustfunktion – trainierte Prompts neigen dazu, überanpassung an die Datenverteilung der Downstream-Aufgabe zu erleiden und haben Schwierigkeiten, allgemeine, aufgabennichtspezifische Merkmale aus dem fixierten CLIP-Modell zu erfassen. Dies führt zum Verlust der ursprünglichen Generalisierungsfähigkeit des Modells. Um dieses Problem anzugehen, stellen wir einen selbstregulierenden Rahmen für das Prompt-Lernen vor, namens PromptSRC (Prompting with Self-regulating Constraints). PromptSRC leitet die Prompts mittels eines dreifachen Ansatzes dazu an, sowohl aufgabenspezifische als auch aufgabennichtspezifische allgemeine Darstellungen zu optimieren: (a) durch Regulierung der promptbasierten Darstellungen mittels Maximierung der gegenseitigen Übereinstimmung mit dem fixierten Modell, (b) durch Selbst-Ensemble-Regulierung über den Trainingsverlauf, um die komplementären Stärken der Prompts zu erfassen, und (c) durch Regulierung mittels textueller Vielfalt, um die Ungleichgewichtigkeit der Stichprobenvielfalt im visuellen Zweig zu mildern. Sofern uns bekannt, handelt es sich hierbei um den ersten Regularisierungsrahmen für das Prompt-Lernen, der Überanpassung vermeidet, indem er gleichzeitig auf die vortrainierten Modellmerkmale, den Trainingsverlauf während des Promptings und die textuelle Vielfalt achtet. PromptSRC lenkt die Prompts explizit dazu, einen Darstellungsraum zu erlernen, der die Leistung auf Downstream-Aufgaben maximiert, ohne die Generalisierungsfähigkeit von CLIP zu beeinträchtigen. Wir führen umfangreiche Experimente an vier Benchmarks durch, bei denen PromptSRC im Vergleich zu bestehenden Methoden insgesamt überzeugend abschneidet. Unser Code und die vortrainierten Modelle sind öffentlich unter https://github.com/muzairkhattak/PromptSRC verfügbar.