Eine fragezentrierte Mehrfaktor-Aufmerksamkeitsnetzwerk für Fragebeantwortung

Neuronale Netzwerkmodelle, die kürzlich für Fragebeantwortung (QA) vorgeschlagen wurden, konzentrieren sich hauptsächlich auf die Erfassung der Beziehung zwischen Textabschnitt und Frage. Allerdings verfügen sie über eine minimale Fähigkeit, relevante Fakten, die über mehrere Sätze verteilt sind, miteinander zu verknüpfen, was für ein tieferes Verständnis entscheidend ist, wie z.B. das Durchführen von Mehrsatz-Reasoning und Coreference-Resolution. Sie legen auch nicht explizit den Fokus auf die Frage und den Antworttyp, obwohl diese oft eine entscheidende Rolle bei der Fragebeantwortung spielen. In dieser Arbeit schlagen wir ein neues end-to-end frageorientiertes Mehrfaktor-Aufmerksamkeitsnetzwerk zur Antwortextraktion vor. Die Mehrfaktor-aufmerksamkeitsbasierte Kodierung unter Verwendung einer tensorbasierten Transformation aggregiert bedeutungsvolle Fakten auch dann, wenn diese in verschiedenen Sätzen liegen. Um den Antworttyp implizit zu inferieren, schlagen wir außerdem einen max-aufmerksamkeitsbasierten Fragenaggregationsmechanismus vor, um einen Fragenvektor basierend auf wichtigen Wörtern in der Frage zu kodieren. Während der Vorhersage integrieren wir die sequenzbasierte Kodierung des ersten W-Wortes und seines unmittelbar folgenden Wortes als zusätzliche Informationsquelle zum Fragenotyp. Unser vorgeschlagenes Modell erzielt signifikante Verbesserungen im Vergleich zu den bisher besten Stand-of-the-Art-Ergebnissen auf drei großen und anspruchsvollen QA-Datensätzen: NewsQA, TriviaQA und SearchQA.