Pré-entraînement Texte-à-Texte pour les tâches Données-à-Texte

Nous étudions la stratégie de pré-entraînement + adaptation fine pour les tâches de génération de texte à partir de données. Nos expériences montrent que le pré-entraînement textuel à textuel sous la forme de T5 permet à des modèles simples basés sur des transformateurs et entièrement end-to-end de surpasser les architectures neurales en pipeline spécifiquement conçues pour la génération de texte à partir de données, ainsi que d'autres techniques de pré-entraînement basées sur des modèles de langage telles que BERT et GPT-2. Plus important encore, le pré-entraînement avec T5 conduit à une meilleure généralisation, comme le démontre une amélioration notable sur des jeux de tests hors domaine. Nous espérons que notre travail pourra servir de référence utile pour les recherches futures, alors que le transfert d'apprentissage devient de plus en plus courant dans le domaine des tâches de génération de texte à partir de données.