Ergebnisse der E2E NLG-Challenge

Dieses Papier fasst die experimentelle Aufstellung und die Ergebnisse der ersten gemeinsamen Aufgabe zur end-to-end (E2E) Natural Language Generation (NLG) in sprachgesteuerten Dialogsystemen zusammen. Neuere end-to-end Generierungssysteme sind vielversprechend, da sie das Bedürfnis nach Datenaufbereitung reduzieren. Derzeit sind sie jedoch auf kleine, delexikalisierte Datensätze beschränkt. Die E2E NLG gemeinsame Aufgabe stellt das Ziel dar, zu prüfen, ob diese neuen Ansätze durch das Lernen aus einem Datensatz mit höherer lexikalischer Vielfalt, syntaktischer Komplexität und diversen Diskursphänomenen bessere Ausgabe erzeugen können. Wir vergleichen 62 Systeme, die von 17 Institutionen eingesendet wurden und einen breiten Spektrum an Ansätzen abdecken, darunter maschinelles Lernen -- wobei die Mehrheit sequenzbasierte Modelle (seq2seq) implementiert -- sowie Systeme, die auf grammatikalischen Regeln und Vorlagen basieren.