Adaptive Information Seeking für Open-Domain Fragebeantwortung

Die Informationsbeschaffung ist ein entscheidender Schritt beim offenen Domänen-Fragebeantwortung, um effizient Beweismaterial aus einer großen Korpus zu sammeln. In jüngster Zeit haben iterative Ansätze sich als wirksam für komplexe Fragen erwiesen, indem sie in jedem Schritt rekursiv neue Beweise abrufen. Allerdings verwenden fast alle bestehenden iterative Ansätze vordefinierte Strategien, entweder indem sie dieselbe Abruffunktion mehrfach anwenden oder die Reihenfolge verschiedener Abruffunktionen festlegen, was die unterschiedlichen Anforderungen verschiedener Fragen nicht hinreichend erfüllen kann. In diesem Artikel stellen wir eine neuartige adaptive Informationsbeschaffungsstrategie für offene Domänen-Fragebeantwortung vor, namens AISO. Konkret wird der gesamte Abruf- und Antwortprozess als ein partiell beobachtbarer Markov-Entscheidungsprozess modelliert, wobei drei Arten von Abrufoperationen (z. B. BM25, DPR und Hyperlink) sowie eine Antwortoperation als Aktionen definiert werden. Aufgrund der gelernten Politik kann AISO adaptiv eine geeignete Abrufaktion auswählen, um in jedem Schritt das fehlende Beweismaterial basierend auf den bereits gesammelten Beweisen und der überarbeiteten Frage zu suchen, oder direkt die Antwort ausgeben, wenn das Beweismaterial ausreichend für die Frage ist. Experimente auf SQuAD Open und HotpotQA fullwiki – als Benchmarks für Ein- und Mehrschritt-Fragebeantwortung im offenen Domänenbereich – zeigen, dass AISO sowohl in Bezug auf die Abruf- als auch auf die Antwortbewertung alle Baseline-Methoden mit vordefinierten Strategien übertrifft.