HyperAIHyperAI
vor 2 Monaten

Nachdenkender Leser: Schließen mit Gatter-Multi-Hop-Aufmerksamkeit

Yichen Gong; Samuel R. Bowman
Nachdenkender Leser: Schließen mit Gatter-Multi-Hop-Aufmerksamkeit
Abstract

Um die Frage in der maschinellen Textverständnis-Aufgabe (Machine Comprehension, MC) zu beantworten, müssen die Modelle die Interaktion zwischen Frage und Kontext herstellen. Um das Problem zu lösen, dass ein durchlaufendes Modell (single-pass model) seine Antwort nicht überdenken und korrigieren kann, stellen wir den nachdenkenden Leser (Ruminating Reader) vor. Der Ruminating Reader fügt dem Modell für bidirektionale Aufmerksamkeitsströme (Bi-Directional Attention Flow model, BiDAF) eine zweite Aufmerksamkeitsphase und eine neuartige Informationsfusion-Komponente hinzu. Wir schlagen neue Schichtstrukturen vor, die eine kontextbewusste Abfragevektorrepräsentation erstellen und die Codierungsdarstellung mit einer Zwischendarstellung auf der Grundlage des BiDAF-Modells fusionieren. Wir zeigen, dass ein Mehrgang-Aufmerksamkeitsmechanismus (multi-hop attention mechanism) auf eine bidirektionale Aufmerksamkeitsstruktur angewendet werden kann. In Experimenten mit SQuAD finden wir heraus, dass der Leser das BiDAF-Basismodell erheblich übertreffen kann und die Leistung aller anderen veröffentlichten Systeme erreicht oder sogar übertrifft.

Nachdenkender Leser: Schließen mit Gatter-Multi-Hop-Aufmerksamkeit | Neueste Forschungsarbeiten | HyperAI