HyperAIHyperAI

Command Palette

Search for a command to run...

Steuerpräfixe für parameter-effiziente Textgenerierung

Jordan Clive Kris Cao Marek Rei

Zusammenfassung

Prefix-Tuning ist eine leistungsstarke, leichtgewichtige Technik zur Anpassung eines großen vortrainierten Sprachmodells an eine spezifische Anwendung. Allerdings verwendet sie für alle Beispiele in einem Datensatz denselben, datensatzweiten angepassten Prompt. Wir erweitern diese Idee und schlagen eine dynamische Methode namens Control Prefixes vor, die die Einbeziehung von bedingten, eingabehabhaften Informationen ermöglicht und somit die Vorteile von Prompt-Tuning und kontrollierter Generierung vereint. Die Methode integriert lernbare Darstellungen auf Attribut-Ebene in verschiedene Schichten eines vortrainierten Transformers, wodurch die generierte Textausgabe gezielt in eine bestimmte Richtung geleitet werden kann. Wir führen eine systematische Evaluation der Methode durch und wenden sie auf fünf Datensätze aus der GEM-Benchmark für natürliche Sprachgenerierung (NLG) an. Obwohl das Ziel darin besteht, ein parameter-effizientes Modell zu entwickeln, zeigen wir, dass Control Prefixes sogar die Leistung vollständiger Fine-Tuning-Methoden übertrifft. Wir erreichen state-of-the-art-Ergebnisse auf mehreren Data-to-Text-Datensätzen, darunter WebNLG.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Steuerpräfixe für parameter-effiziente Textgenerierung | Paper | HyperAI