Untersuchung von vorab trainierten Sprachmodellen für die Generierung von Text aus Graphen

Die Graph-to-Text-Generierung (Graph-basierte Textgenerierung) zielt darauf ab, flüssige Texte aus graphbasierten Daten zu erzeugen. In dieser Arbeit untersuchen wir zwei kürzlich vorgeschlagene vorab trainierte Sprachmodelle (PLMs) und analysieren den Einfluss verschiedener aufgabenangepasster Vorabtrainingsstrategien für PLMs in der Graph-to-Text-Generierung. Wir präsentieren eine Studie über drei Graphdomänen: Bedeutungsdarstellungen, Wikipediawissensgraphen (KGs) und wissenschaftliche KGs. Wir zeigen, dass die PLMs BART und T5 neue Stand-of-the-Art-Ergebnisse erzielen und dass aufgabenangepasste Vorabtrainingsstrategien ihre Leistung weiter verbessern. Insbesondere berichten wir neue Stand-of-the-Art-BLEU-Werte von 49,72 für LDC2017T10, 59,70 für WebNLG und 25,66 für das AGENDA-Datensatz – eine relative Verbesserung von 31,8 %, 4,5 % und 42,4 % jeweils. In einer umfassenden Analyse identifizieren wir mögliche Gründe für den Erfolg der PLMs bei Graph-to-Text-Aufgaben. Wir finden Hinweise darauf, dass ihr Wissen über Fakten ihnen hilft, auch dann gut abzuschneiden, wenn die Eingabe-Graphdarstellung auf eine einfache Menge von Knoten- und Kantenlabels reduziert wird.