Résultats du Défi E2E NLG

Ce document résume la configuration expérimentale et les résultats de la première tâche partagée sur la génération de langage naturel de bout en bout (E2E) dans les systèmes de dialogue oral. Les systèmes de génération de bout en bout récents sont prometteurs car ils réduisent le besoin d'annotation des données. Cependant, ils sont actuellement limités à des jeux de données petits et délexicaux. La tâche partagée E2E NLG vise à évaluer si ces nouvelles approches peuvent générer une sortie de meilleure qualité en apprenant à partir d'un jeu de données présentant une richesse lexicale supérieure, une complexité syntaxique accrue et une variété de phénomènes discursifs. Nous comparons 62 systèmes soumis par 17 institutions, couvrant un large éventail d'approches, notamment des architectures d'apprentissage automatique -- dont la majorité mettent en œuvre des modèles séquence-à-séquence (seq2seq) -- ainsi que des systèmes basés sur des règles grammaticales et des modèles préformatifs.