Multi-hop-Fragebeantwortung mittels Schlussfolgerungsketten

Die Mehrschritt-Fragebeantwortung erfordert Modelle, Informationen aus verschiedenen Abschnitten eines Textes zu sammeln, um eine Frage zu beantworten. Die meisten aktuellen Ansätze lernen, diese Aufgabe end-to-end mit neuronalen Netzwerken zu bewältigen, ohne eine explizite Repräsentation des Schlussfolgerungsprozesses zu bewahren. Wir schlagen eine Methode vor, um eine diskrete Schlussfolgerungskette im Text zu extrahieren, die aus einer Folge von Sätzen besteht, die zur Antwort führen. Diese extrahierten Ketten werden anschließend einem BERT-basierten QA-Modell zur endgültigen Antwortvorhersage zugeführt. Kritisch ist, dass wir weder goldene annotierte Ketten noch sogenannte „supporting facts“ zur Trainingszeit benötigen; stattdessen leiten wir pseudogoldene Schlussfolgerungsketten durch Heuristiken ab, die auf der Namensentitätserkennung und der Kernreferenzauflösung basieren. Auch im Testzeitraum setzen wir auf keine solchen Annotationen, da unser Modell lernt, Ketten allein aus Rohtext zu extrahieren. Wir testen unseren Ansatz auf zwei kürzlich vorgeschlagenen großen Multi-Hop-Fragebeantwortungs-Datensätzen: WikiHop und HotpotQA. Dabei erreichen wir eine state-of-the-art-Leistung auf WikiHop und eine starke Leistung auf HotpotQA. Unsere Analyse zeigt, welche Eigenschaften der Ketten für eine hohe Leistung entscheidend sind: Insbesondere ist die sequenzielle Modellierung der Extraktion wichtig, ebenso wie die kontextbewusste Behandlung jeder Kandidatensatz. Darüber hinaus zeigt eine menschliche Bewertung, dass die extrahierten Ketten es Menschen ermöglichen, mit hoher Sicherheit Antworten zu geben, was darauf hindeutet, dass es sich um eine starke Zwischenabstraktion für diese Aufgabe handelt.