Génération de texte à partir de données avec planification séquentielle variationnelle

Nous considérons la tâche de génération de texte à partir de données, dont l’objectif est de produire une sortie textuelle à partir d’entrées non linguistiques. Nous nous concentrons sur la génération de textes longs, c’est-à-dire des documents composés de plusieurs paragraphes, et proposons un modèle neuronal amélioré par un composant de planification chargé d’organiser de manière cohérente et significative les informations de haut niveau. Nous inférons les plans latents de manière séquentielle à l’aide d’un modèle variationnel structuré, tout en intercalant les étapes de planification et de génération. Le texte est généré en conditionnant sur les décisions variationnelles précédentes et sur le texte déjà produit. Des expériences menées sur deux benchmarks de génération de texte à partir de données (RotoWire et MLB) montrent que notre modèle surpasse des baselines performantes et présente une efficacité élevée en échantillons, même en présence de données d’entraînement limitées (par exemple, quelques centaines d’exemples).