Beantwortung offener Fragen mit unterschiedlichen Schlussfolgerungsschritten aus Text

Wir entwickeln ein einheitliches System, das direkt aus Text offene Fragen beantwortet, die eine unterschiedliche Anzahl an Abrufschritten erfordern können. Wir nutzen ein einzelnes mehraufgabenfähiges Transformer-Modell, um alle notwendigen Teilaufgaben – das Abrufen unterstützender Fakten, das Neurangieren dieser Fakten sowie die Vorhersage der Antwort auf Basis aller abgerufenen Dokumente – iterativ durchzuführen. Wir vermeiden entscheidende Annahmen früherer Ansätze, die sich nicht gut auf reale Anwendungsszenarien übertragen lassen, wie beispielsweise die Nutzung des Wissens über eine feste Anzahl an Abrufschritten, die zur Beantwortung jeder Frage erforderlich ist, oder die Verwendung strukturierter Metadaten wie Wissensbasen oder Web-Links, die nur eingeschränkt verfügbar sind. Stattdessen entwerfen wir ein System, das offene Fragen auf beliebige Textkollektionen beantworten kann, ohne vorherige Kenntnis über die Komplexität des Schlussfolgerungsprozesses zu benötigen. Um diese Anforderung nachzuahmen, erstellen wir eine neue Benchmark namens BeerQA, indem wir bestehende Datensätze mit einem und zwei Abrufschritten mit einer neuen Sammlung von 530 Fragen kombinieren, die jeweils drei Wikipedia-Seiten zur Beantwortung erfordern, und vereinheitlichen dabei gleichzeitig verschiedene Versionen des Wikipedia-Korpora. Wir zeigen, dass unser Modell sowohl auf bestehenden Benchmarks als auch auf dieser neuen Benchmark konkurrenzfähige Leistung erzielt. Die neue Benchmark ist unter https://beerqa.github.io/ verfügbar.