HyperAIHyperAI

Command Palette

Search for a command to run...

Prompt-Lernen durch Meta-Regularisierung

Jinyoung Park Juyeon Ko Hyunwoo J. Kim

Zusammenfassung

Vortrainierte Vision-Sprache-Modelle haben bei verschiedenen Aufgaben des maschinellen Sehens beeindruckende Erfolge durch ihre Fähigkeit zur Zero-Shot-Verallgemeinerung gezeigt. In jüngster Zeit wurden Prompt-Lernansätze erforscht, um die Vision-Sprache-Modelle effizient und effektiv auf eine Vielzahl von Downstream-Aufgaben anzupassen. Allerdings leiden die meisten bestehenden Prompt-Lernmethoden unter einer Überanpassung an die Aufgabe, da das allgemeine Wissen der vortrainierten Vision-Sprache-Modelle verloren geht, während die Prompts auf einem kleinen Datensatz einer spezifischen Zielaufgabe feinabgestimmt werden. Um dieses Problem anzugehen, schlagen wir eine Prompt-Meta-Regularisierung (ProMetaR) vor, um die Verallgemeinerungsfähigkeit des Prompt-Lernens für Vision-Sprache-Modelle zu verbessern. Konkret lernt ProMetaR sowohl den Regularisierer als auch die weichen Prompts im Meta-Lern-Paradigma, um sowohl aufgabenbezogenes Wissen aus den Downstream-Aufgaben als auch aufgabenunabhängiges Allgemeinwissen aus den Vision-Sprache-Modellen zu nutzen. Darüber hinaus erweitert ProMetaR die ursprüngliche Aufgabe, um mehrere virtuelle Aufgaben zu generieren, um die Meta-Überanpassung zu verringern. Zudem führen wir eine Analyse durch, um zu verstehen, wie ProMetaR die Verallgemeinerungsfähigkeit des Prompt-Tunings aus der Perspektive der Gradientenalignment verbessert. Unsere umfangreichen Experimente zeigen, dass ProMetaR die Verallgemeinerungsfähigkeit herkömmlicher Prompt-Lernmethoden unter Base-to-Base/Base-to-New- sowie Domain-Generalization-Szenarien verbessert. Der Quellcode von ProMetaR ist unter https://github.com/mlvlab/ProMetaR verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Prompt-Lernen durch Meta-Regularisierung | Paper | HyperAI