Verwendung der lokalen Wissensgraphenkonstruktion zur Skalierung von Seq2Seq-Modellen auf mehrdokumentenbasierte Eingaben

Abfragebasierte Aufgaben im offenen Domänen-NLP erfordern die Informationssynthese aus langen und vielfältigen Web-Ergebnissen. Aktuelle Ansätze extrahieren mithilfe von Methoden wie TF-IDF-Ranking Teile des Web-Textes als Eingabe für Sequenz-zu-Sequenz-Modelle. Wir schlagen vor, für jede Abfrage eine lokal strukturierte graphenbasierte Wissensbasis zu erstellen, die die Web-Suchinformationen komprimiert und Redundanzen reduziert. Wir zeigen, dass durch die Linearisierung des Graphen in eine strukturierte Eingabefolge Modelle die Graph-Darstellungen innerhalb eines herkömmlichen Sequenz-zu-Sequenz-Rahmens effektiv kodieren können. Bei zwei generativen Aufgaben mit sehr langen Texteingaben – langformiger Fragebeantwortung und mehrdokumentenbasiertem Zusammenfassen – erreicht die Verwendung von Graph-Darstellungen als Eingabe eine bessere Leistung als die Nutzung der abgerufenen Textabschnitte.