KGPT: Wissensbasierte Vortrainierung für die Generierung von Daten zu Text

Die Daten-zu-Text-Generierung hat in letzter Zeit aufgrund ihrer vielfältigen Anwendungen erhebliches Interesse geweckt. Bestehende Methoden haben bei einer Reihe von Aufgaben beeindruckende Leistungen gezeigt. Sie hängen jedoch von einer beträchtlichen Menge an für jede Aufgabe beschrifteten Daten ab, die teuer zu beschaffen sind und daher ihre Anwendung auf neue Aufgaben und Domänen einschränken. In dieser Arbeit schlagen wir vor, vorgefasstes Training (Pre-Training) und Transfer-Lernen zu nutzen, um dieses Problem zu lösen. Wir stellen ein wissensbasiertes vorgefertigtes Training (KGPT) vor, das aus zwei Teilen besteht: 1) einem allgemeinen wissensbasierten Generierungsmodell zur Erstellung von wissensreichen Texten; 2) einem vorgefertigten Trainingsparadigma auf einem massiven, aus dem Web gekrochenen Korpus mit wissensbasierten Texten. Das vorgefertigte Modell kann für verschiedene Daten-zu-Text-Generierungsaufgaben feinjustiert werden, um aufgabenspezifischen Text zu generieren. Wir evaluieren die Effektivität unseres Modells in drei Szenarien: vollständig überwacht, zero-shot (nullschuss) und few-shot (wenigschuss). Im vollständig überwachten Szenario erreicht unser Modell bemerkenswerte Verbesserungen im Vergleich zu bekannten Baselines. Im Nullschuss-Szenario erreicht unser Modell ohne jegliche Beispiele einen ROUGE-L-Wert von über 30 bei WebNLG, während alle anderen Baselines versagen. Im Wenigschuss-Szenario benötigt unser Modell nur etwa ein Fünftel der für Baselinemodelle erforderlichen beschrifteten Beispiele, um die gleiche Leistungsebene zu erreichen. Diese Experimente belegen konsistent die starke Generalisierungsfähigkeit des von uns vorgeschlagenen Frameworks https://github.com/wenhuchen/KGPT.