Text-to-Text Vortrainierung für Data-to-Text-Aufgaben

Wir untersuchen die Pre-Train + Fine-Tune-Strategie für Daten-zu-Text-Aufgaben. Unsere Experimente zeigen, dass die Text-zu-Text-Pre-Training-Form wie bei T5 es einfachen, end-to-end basierten Transformer-Modellen ermöglicht, überlegene Leistung gegenüber verfahrensbasierten, auf Daten-zu-Text-Generierung zugeschnittenen neuronalen Architekturen sowie alternativen, auf Sprachmodellen basierenden Pre-Training-Techniken wie BERT und GPT-2 zu erzielen. Wichtig ist, dass das T5-Pre-Training zu einer besseren Generalisierung führt, was sich in erheblichen Verbesserungen auf Out-of-Domain-Testsets zeigt. Wir hoffen, dass unsere Arbeit als nützliche Basis für zukünftige Forschung dienen kann, da Transferlernen für Daten-zu-Text-Aufgaben immer verbreiteter wird.