HyperAIHyperAI

Command Palette

Search for a command to run...

Attention-over-Attention Neuronale Netze für die Lektüreverstehensfähigkeit

Yiming Cui†, Zhipeng Chen†, Si Wei†, Shijin Wang†, Ting Liu‡ and Guoping Hu†

Zusammenfassung

Cloze-Aufgaben stellen repräsentative Probleme im Leseverständnis dar. In den letzten Monaten haben wir erhebliche Fortschritte bei der Lösung von Cloze-Aufgaben durch den Einsatz neuronaler Netzwerke beobachtet. In dieser Arbeit präsentieren wir ein neues Modell, das als Aufmerksamkeit-über-Aufmerksamkeit-Leser (attention-over-attention reader) für die Cloze-Aufgaben des Leseverständnisses entwickelt wurde. Unser Modell zielt darauf ab, eine weitere Aufmerksamkeitsmechanismus über die Dokumentaufmerksamkeit zu platzieren und so eine „aufmerksamkeitseingedigte Aufmerksamkeit“ (attended attention) für die endgültigen Vorhersagen zu erzeugen. Im Gegensatz zu früheren Arbeiten benötigt unser neuronales Netzwerkmodell weniger vordefinierte Hyperparameter und verwendet eine elegante Architektur zur Modellierung. Die experimentellen Ergebnisse zeigen, dass das vorgeschlagene Aufmerksamkeit-über-Aufmerksamkeit-Modell in öffentlichen Datensätzen wie dem CNN-Datensatz und dem Children’s Book Test-Datensatz um ein großes Maß verschiedener state-of-the-art-Systeme deutlich übertrifft.请注意,"state-of-the-art" 是一个常用的英语术语,在德语文献中通常保留原样,以保持其专业性和国际通用性。


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Attention-over-Attention Neuronale Netze für die Lektüreverstehensfähigkeit | Paper | HyperAI