HyperAIHyperAI

Command Palette

Search for a command to run...

Prompt Tuning für generative multimodale vortrainierte Modelle

Hao Yang Junyang Lin An Yang Peng Wang Chang Zhou Hongxia Yang

Zusammenfassung

Prompt-Tuning ist zu einer neuen Paradigmen für das Modell-Tuning geworden und hat sowohl im Bereich der Sprachvortrainierung als auch bereits in der Bildvortrainierung gezeigt, dass sie erfolgreich ist. In dieser Arbeit untersuchen wir die Übertragung von Prompt-Tuning auf multimodale Vortrainierung, wobei wir uns speziell auf generative multimodale vortrainierte Modelle konzentrieren, anstatt auf contrastive Ansätze. Konkret implementieren wir Prompt-Tuning auf einem einheitlichen sequenz-zu-Sequenz-vortrainierten Modell, das sowohl für Verständnis- als auch für Generierungsaufgaben anpassungsfähig ist. Experimentelle Ergebnisse zeigen, dass die leichtgewichtige Prompt-Tuning-Methode eine vergleichbare Leistung wie Fine-Tuning erreicht und zudem andere leichtgewichtige Anpassungsmethoden übertrifft. Zudem demonstrieren die prompt-tunenden Modelle gegenüber fine-tunenden Modellen eine verbesserte Robustheit gegenüber adversarialen Angriffen. Wir stellen außerdem fest, dass experimentelle Faktoren wie Prompt-Länge, Prompt-Tiefe und Reparametrisierung erheblichen Einfluss auf die Modellleistung haben, weshalb wir auf empirischer Basis Empfehlungen für die Konfiguration von Prompt-Tuning geben. Trotz der beobachteten Vorteile identifizieren wir dennoch einige Einschränkungen von Prompt-Tuning und weisen entsprechend auf mögliche Forschungsrichtungen für zukünftige Arbeiten hin. Der Quellcode ist unter \url{https://github.com/OFA-Sys/OFA} verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp