HyperAIHyperAI

Command Palette

Search for a command to run...

Bayesian Prompt Learning für die Generalisierung von Bild-Sprache-Modellen

Mohammad Mahdi Derakhshani Enrique Sanchez Adrian Bulat Victor Guilherme Turrisi da Costa Cees G. M. Snoek Georgios Tzimiropoulos Brais Martinez

Zusammenfassung

Grundlegende Bild-Sprache-Modelle haben erhebliches Interesse geweckt, da sie durch Prompt-Lernen effizient auf nachgeschaltete Aufgaben angepasst werden können. Beim Prompt-Lernen werden Teile der Eingabe des Sprachmodells als trainierbar betrachtet, während der Rest fixiert bleibt, und ein empirisches Risikominimierungs-(Empirical Risk Minimization, ERM)-Ziel optimiert. Allerdings ist bekannt, dass ERM unter Verteilungsverschiebungen leidet, was die Generalisierbarkeit auf während des Trainings nicht gesehene Prompts beeinträchtigt. Durch die Ausnutzung der Regularisierungsfähigkeit bayesscher Methoden formulieren wir das Prompt-Lernen aus einer bayesschen Perspektive und stellen es als ein Variationsinference-Problem dar. Unser Ansatz regularisiert den Prompt-Raum, verringert das Überanpassen an gesehene Prompts und verbessert die Generalisierung auf nicht gesehene Prompts. Unser Framework wird implementiert, indem der Eingabeprompt-Raum probabilistisch modelliert wird – als a-priori-Verteilung – wodurch unsere Methode mit Prompt-Lernansätzen kompatibel ist, die entweder unbedingt oder bedingt auf das Bild basieren. Wir zeigen empirisch an 15 Benchmarks, dass das bayessche Prompt-Lernen eine angemessene Abdeckung des Prompt-Raums ermöglicht, die Lernung von spurious Merkmalen verhindert und übertragbare invariante Merkmale nutzt. Dies führt zu einer verbesserten Generalisierung nicht gesehener Prompts, selbst über verschiedene Datensätze und Domänen hinweg. Der Quellcode ist verfügbar unter: https://github.com/saic-fi/Bayesian-Prompt-Learning


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Bayesian Prompt Learning für die Generalisierung von Bild-Sprache-Modellen | Paper | HyperAI