Machine à Modèles Variationnels pour la Génération de Texte à Partir de Données

Comment générer des descriptions à partir de données structurées organisées sous forme de tableaux ? Les approches existantes basées sur des modèles neuronaux encodeur-décodeur souffrent souvent d’un manque de diversité dans les sorties générées. Nous affirmons qu’un ensemble ouvert de modèles (templates) est essentiel pour enrichir les constructions phrase et réaliser des générations variées. L’apprentissage de tels modèles est toutefois prohibitif, car il nécessite souvent un grand corpus parallèle composé de paires , qui est rarement disponible. Ce papier explore le problème de l’apprentissage automatique de modèles réutilisables à partir de données parallèles et non parallèles. Nous proposons la machine à modèles variationnelle (VTM), une nouvelle méthode pour générer des descriptions textuelles à partir de tableaux de données. Nos contributions incluent : a) une conception soigneuse d’une architecture de modèle et de fonctions de perte permettant de désentrelacer explicitement, dans les espaces latents, les informations relatives au modèle textuel et au contenu sémantique ; b) l’utilisation conjointe de petites quantités de données parallèles et de grandes collections de textes bruts non alignés avec des tableaux, afin d’enrichir l’apprentissage des modèles. Des expériences menées sur des jeux de données provenant de divers domaines montrent que la VTM est capable de générer des descriptions plus diversifiées tout en préservant une bonne fluidité et une qualité élevée.