Steuerpräfixe für parameter-effiziente Textgenerierung

Prefix-Tuning ist eine leistungsstarke, leichtgewichtige Technik zur Anpassung eines großen vortrainierten Sprachmodells an eine spezifische Anwendung. Allerdings verwendet sie für alle Beispiele in einem Datensatz denselben, datensatzweiten angepassten Prompt. Wir erweitern diese Idee und schlagen eine dynamische Methode namens Control Prefixes vor, die die Einbeziehung von bedingten, eingabehabhaften Informationen ermöglicht und somit die Vorteile von Prompt-Tuning und kontrollierter Generierung vereint. Die Methode integriert lernbare Darstellungen auf Attribut-Ebene in verschiedene Schichten eines vortrainierten Transformers, wodurch die generierte Textausgabe gezielt in eine bestimmte Richtung geleitet werden kann. Wir führen eine systematische Evaluation der Methode durch und wenden sie auf fünf Datensätze aus der GEM-Benchmark für natürliche Sprachgenerierung (NLG) an. Obwohl das Ziel darin besteht, ein parameter-effizientes Modell zu entwickeln, zeigen wir, dass Control Prefixes sogar die Leistung vollständiger Fine-Tuning-Methoden übertrifft. Wir erreichen state-of-the-art-Ergebnisse auf mehreren Data-to-Text-Datensätzen, darunter WebNLG.