HyperAIHyperAI

Command Palette

Search for a command to run...

KGPT: Wissensbasierte Vortrainierung für die Generierung von Daten zu Text

Wenhu Chen; Yu Su; Xifeng Yan; William Yang Wang

Zusammenfassung

Die Daten-zu-Text-Generierung hat in letzter Zeit aufgrund ihrer vielfältigen Anwendungen erhebliches Interesse geweckt. Bestehende Methoden haben bei einer Reihe von Aufgaben beeindruckende Leistungen gezeigt. Sie hängen jedoch von einer beträchtlichen Menge an für jede Aufgabe beschrifteten Daten ab, die teuer zu beschaffen sind und daher ihre Anwendung auf neue Aufgaben und Domänen einschränken. In dieser Arbeit schlagen wir vor, vorgefasstes Training (Pre-Training) und Transfer-Lernen zu nutzen, um dieses Problem zu lösen. Wir stellen ein wissensbasiertes vorgefertigtes Training (KGPT) vor, das aus zwei Teilen besteht: 1) einem allgemeinen wissensbasierten Generierungsmodell zur Erstellung von wissensreichen Texten; 2) einem vorgefertigten Trainingsparadigma auf einem massiven, aus dem Web gekrochenen Korpus mit wissensbasierten Texten. Das vorgefertigte Modell kann für verschiedene Daten-zu-Text-Generierungsaufgaben feinjustiert werden, um aufgabenspezifischen Text zu generieren. Wir evaluieren die Effektivität unseres Modells in drei Szenarien: vollständig überwacht, zero-shot (nullschuss) und few-shot (wenigschuss). Im vollständig überwachten Szenario erreicht unser Modell bemerkenswerte Verbesserungen im Vergleich zu bekannten Baselines. Im Nullschuss-Szenario erreicht unser Modell ohne jegliche Beispiele einen ROUGE-L-Wert von über 30 bei WebNLG, während alle anderen Baselines versagen. Im Wenigschuss-Szenario benötigt unser Modell nur etwa ein Fünftel der für Baselinemodelle erforderlichen beschrifteten Beispiele, um die gleiche Leistungsebene zu erreichen. Diese Experimente belegen konsistent die starke Generalisierungsfähigkeit des von uns vorgeschlagenen Frameworks https://github.com/wenhuchen/KGPT.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp