Attention-over-Attention Neuronale Netze für die Lektüreverstehensfähigkeit

Cloze-Aufgaben stellen repräsentative Probleme im Leseverständnis dar. In den letzten Monaten haben wir erhebliche Fortschritte bei der Lösung von Cloze-Aufgaben durch den Einsatz neuronaler Netzwerke beobachtet. In dieser Arbeit präsentieren wir ein neues Modell, das als Aufmerksamkeit-über-Aufmerksamkeit-Leser (attention-over-attention reader) für die Cloze-Aufgaben des Leseverständnisses entwickelt wurde. Unser Modell zielt darauf ab, eine weitere Aufmerksamkeitsmechanismus über die Dokumentaufmerksamkeit zu platzieren und so eine „aufmerksamkeitseingedigte Aufmerksamkeit“ (attended attention) für die endgültigen Vorhersagen zu erzeugen. Im Gegensatz zu früheren Arbeiten benötigt unser neuronales Netzwerkmodell weniger vordefinierte Hyperparameter und verwendet eine elegante Architektur zur Modellierung. Die experimentellen Ergebnisse zeigen, dass das vorgeschlagene Aufmerksamkeit-über-Aufmerksamkeit-Modell in öffentlichen Datensätzen wie dem CNN-Datensatz und dem Children’s Book Test-Datensatz um ein großes Maß verschiedener state-of-the-art-Systeme deutlich übertrifft.请注意，"state-of-the-art" 是一个常用的英语术语，在德语文献中通常保留原样，以保持其专业性和国际通用性。