HyperAIHyperAI

Command Palette

Search for a command to run...

Nachdenkender Leser: Schließen mit Gatter-Multi-Hop-Aufmerksamkeit

Yichen Gong; Samuel R. Bowman

Zusammenfassung

Um die Frage in der maschinellen Textverständnis-Aufgabe (Machine Comprehension, MC) zu beantworten, müssen die Modelle die Interaktion zwischen Frage und Kontext herstellen. Um das Problem zu lösen, dass ein durchlaufendes Modell (single-pass model) seine Antwort nicht überdenken und korrigieren kann, stellen wir den nachdenkenden Leser (Ruminating Reader) vor. Der Ruminating Reader fügt dem Modell für bidirektionale Aufmerksamkeitsströme (Bi-Directional Attention Flow model, BiDAF) eine zweite Aufmerksamkeitsphase und eine neuartige Informationsfusion-Komponente hinzu. Wir schlagen neue Schichtstrukturen vor, die eine kontextbewusste Abfragevektorrepräsentation erstellen und die Codierungsdarstellung mit einer Zwischendarstellung auf der Grundlage des BiDAF-Modells fusionieren. Wir zeigen, dass ein Mehrgang-Aufmerksamkeitsmechanismus (multi-hop attention mechanism) auf eine bidirektionale Aufmerksamkeitsstruktur angewendet werden kann. In Experimenten mit SQuAD finden wir heraus, dass der Leser das BiDAF-Basismodell erheblich übertreffen kann und die Leistung aller anderen veröffentlichten Systeme erreicht oder sogar übertrifft.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Nachdenkender Leser: Schließen mit Gatter-Multi-Hop-Aufmerksamkeit | Paper | HyperAI