Iterative Alternating Neural Attention für maschinelles Lesen

Wir schlagen eine neuartige neuronale Aufmerksamkeitsarchitektur vor, um maschinelle Verständnisaufgaben zu bewältigen, wie zum Beispiel die Beantwortung von Cloze-Tests im Bezug auf ein Dokument. Im Gegensatz zu früheren Modellen kollabieren wir die Abfrage nicht in einen einzelnen Vektor, sondern setzen einen iterativen abwechselnden Aufmerksamkeitsmechanismus ein, der es ermöglicht, sowohl die Abfrage als auch das Dokument detailliert zu erforschen. Unser Modell übertrifft den aktuellen Stand der Technik in Standard-Benchmarks des maschinellen Verstehens, wie beispielsweise CNN-Nachrichtenartikel und den Children's Book Test (CBT)-Datensatz.