Bayesian Prompt Learning für die Generalisierung von Bild-Sprache-Modellen

Grundlegende Bild-Sprache-Modelle haben erhebliches Interesse geweckt, da sie durch Prompt-Lernen effizient auf nachgeschaltete Aufgaben angepasst werden können. Beim Prompt-Lernen werden Teile der Eingabe des Sprachmodells als trainierbar betrachtet, während der Rest fixiert bleibt, und ein empirisches Risikominimierungs-(Empirical Risk Minimization, ERM)-Ziel optimiert. Allerdings ist bekannt, dass ERM unter Verteilungsverschiebungen leidet, was die Generalisierbarkeit auf während des Trainings nicht gesehene Prompts beeinträchtigt. Durch die Ausnutzung der Regularisierungsfähigkeit bayesscher Methoden formulieren wir das Prompt-Lernen aus einer bayesschen Perspektive und stellen es als ein Variationsinference-Problem dar. Unser Ansatz regularisiert den Prompt-Raum, verringert das Überanpassen an gesehene Prompts und verbessert die Generalisierung auf nicht gesehene Prompts. Unser Framework wird implementiert, indem der Eingabeprompt-Raum probabilistisch modelliert wird – als a-priori-Verteilung – wodurch unsere Methode mit Prompt-Lernansätzen kompatibel ist, die entweder unbedingt oder bedingt auf das Bild basieren. Wir zeigen empirisch an 15 Benchmarks, dass das bayessche Prompt-Lernen eine angemessene Abdeckung des Prompt-Raums ermöglicht, die Lernung von spurious Merkmalen verhindert und übertragbare invariante Merkmale nutzt. Dies führt zu einer verbesserten Generalisierung nicht gesehener Prompts, selbst über verschiedene Datensätze und Domänen hinweg. Der Quellcode ist verfügbar unter: https://github.com/saic-fi/Bayesian-Prompt-Learning