Coarse-grain Fine-grain Coattention-Netzwerk für Fragebeantwortung mit mehreren Beweisen

End-to-End-Neuronale Modelle haben in der Fragebeantwortung erhebliche Fortschritte gemacht, jedoch zeigen jüngste Studien, dass diese Modelle implizit davon ausgehen, dass die Antwort und das Beweismaterial in einem einzelnen Dokument dicht beieinander liegen. In dieser Arbeit schlagen wir das Coarse-grain Fine-grain Coattention Network (CFC) vor, ein neues Modell zur Fragebeantwortung, das Informationen aus Beweismaterialien in mehreren Dokumenten kombiniert. Das CFC besteht aus einem grobkörnigen Modul, das die Dokumente im Bezug zur Abfrage interpretiert und eine relevante Antwort findet, sowie einem feinkörnigen Modul, das jede potenzielle Antwort durch den Vergleich ihrer Vorkommen in allen Dokumenten mit der Abfrage bewertet. Diese Module werden unter Verwendung von Hierarchien der Coattention und Selbstaufmerksamkeit (Self-Attention) entwickelt, die lernen, verschiedene Teile der Eingabe zu betonen. Bei der Qangaroo WikiHop-Aufgabe zur Fragebeantwortung mit mehreren Beweisen erreicht das CFC auf dem blinden Testset ein neues Standesbeste-Ergebnis von 70,6 % Genauigkeit, wobei es trotz des Nichtverwendens prätrainierter kontextualer Encoder um 3 % besser abschneidet als das bisher beste Modell.