HyperAIHyperAI
vor 2 Monaten

Bidirektionale Aufmerksamkeitsströme für maschinelle Verstehen

Minjoon Seo; Aniruddha Kembhavi; Ali Farhadi; Hannaneh Hajishirzi
Bidirektionale Aufmerksamkeitsströme für maschinelle Verstehen
Abstract

Maschinelles Verstehen (MC), das Beantworten von Anfragen zu einem gegebenen Kontextabsatz, erfordert die Modellierung komplexer Interaktionen zwischen dem Kontext und der Anfrage. Kürzlich wurden Aufmerksamkeitsmechanismen erfolgreich auf MC erweitert. Üblicherweise verwenden diese Methoden Aufmerksamkeit, um sich auf einen kleinen Teil des Kontexts zu konzentrieren und diesen mit einem vektoriellen Fixwert zusammenzufassen, verbinden sie Aufmerksamkeiten zeitlich und/oder bilden sie oft eine einseitige Aufmerksamkeit. In dieser Arbeit stellen wir das Netzwerk für bidirektionale Aufmerksamkeitsflüsse (Bi-Directional Attention Flow, BIDAF) vor, einen mehrstufigen hierarchischen Prozess, der den Kontext auf verschiedenen Granularitätsebenen darstellt und ein Mechanismus für bidirektionale Aufmerksamkeitsflüsse verwendet, um eine kontextbezogene Darstellung der Anfrage ohne vorzeitige Zusammenfassung zu erhalten. Unsere experimentellen Auswertungen zeigen, dass unser Modell die neuesten Stand der Forschung-Ergebnisse im Stanford Question Answering Dataset (SQuAD) sowie im CNN/DailyMail Cloze-Test erreicht.