Command Palette
Search for a command to run...
Prompt Tuning für generative multimodale vortrainierte Modelle
Prompt Tuning für generative multimodale vortrainierte Modelle
Hao Yang Junyang Lin An Yang Peng Wang Chang Zhou Hongxia Yang
Zusammenfassung
Prompt-Tuning ist zu einer neuen Paradigmen für das Modell-Tuning geworden und hat sowohl im Bereich der Sprachvortrainierung als auch bereits in der Bildvortrainierung gezeigt, dass sie erfolgreich ist. In dieser Arbeit untersuchen wir die Übertragung von Prompt-Tuning auf multimodale Vortrainierung, wobei wir uns speziell auf generative multimodale vortrainierte Modelle konzentrieren, anstatt auf contrastive Ansätze. Konkret implementieren wir Prompt-Tuning auf einem einheitlichen sequenz-zu-Sequenz-vortrainierten Modell, das sowohl für Verständnis- als auch für Generierungsaufgaben anpassungsfähig ist. Experimentelle Ergebnisse zeigen, dass die leichtgewichtige Prompt-Tuning-Methode eine vergleichbare Leistung wie Fine-Tuning erreicht und zudem andere leichtgewichtige Anpassungsmethoden übertrifft. Zudem demonstrieren die prompt-tunenden Modelle gegenüber fine-tunenden Modellen eine verbesserte Robustheit gegenüber adversarialen Angriffen. Wir stellen außerdem fest, dass experimentelle Faktoren wie Prompt-Länge, Prompt-Tiefe und Reparametrisierung erheblichen Einfluss auf die Modellleistung haben, weshalb wir auf empirischer Basis Empfehlungen für die Konfiguration von Prompt-Tuning geben. Trotz der beobachteten Vorteile identifizieren wir dennoch einige Einschränkungen von Prompt-Tuning und weisen entsprechend auf mögliche Forschungsrichtungen für zukünftige Arbeiten hin. Der Quellcode ist unter \url{https://github.com/OFA-Sys/OFA} verfügbar.