Prompt-Lernen durch Meta-Regularisierung

Vortrainierte Vision-Sprache-Modelle haben bei verschiedenen Aufgaben des maschinellen Sehens beeindruckende Erfolge durch ihre Fähigkeit zur Zero-Shot-Verallgemeinerung gezeigt. In jüngster Zeit wurden Prompt-Lernansätze erforscht, um die Vision-Sprache-Modelle effizient und effektiv auf eine Vielzahl von Downstream-Aufgaben anzupassen. Allerdings leiden die meisten bestehenden Prompt-Lernmethoden unter einer Überanpassung an die Aufgabe, da das allgemeine Wissen der vortrainierten Vision-Sprache-Modelle verloren geht, während die Prompts auf einem kleinen Datensatz einer spezifischen Zielaufgabe feinabgestimmt werden. Um dieses Problem anzugehen, schlagen wir eine Prompt-Meta-Regularisierung (ProMetaR) vor, um die Verallgemeinerungsfähigkeit des Prompt-Lernens für Vision-Sprache-Modelle zu verbessern. Konkret lernt ProMetaR sowohl den Regularisierer als auch die weichen Prompts im Meta-Lern-Paradigma, um sowohl aufgabenbezogenes Wissen aus den Downstream-Aufgaben als auch aufgabenunabhängiges Allgemeinwissen aus den Vision-Sprache-Modellen zu nutzen. Darüber hinaus erweitert ProMetaR die ursprüngliche Aufgabe, um mehrere virtuelle Aufgaben zu generieren, um die Meta-Überanpassung zu verringern. Zudem führen wir eine Analyse durch, um zu verstehen, wie ProMetaR die Verallgemeinerungsfähigkeit des Prompt-Tunings aus der Perspektive der Gradientenalignment verbessert. Unsere umfangreichen Experimente zeigen, dass ProMetaR die Verallgemeinerungsfähigkeit herkömmlicher Prompt-Lernmethoden unter Base-to-Base/Base-to-New- sowie Domain-Generalization-Szenarien verbessert. Der Quellcode von ProMetaR ist unter https://github.com/mlvlab/ProMetaR verfügbar.