Réseaux Neuronaux Attention-over-Attention pour la Compréhension de la Lecture

Les questions de type Cloze sont des problèmes représentatifs en compréhension de lecture. Au cours des derniers mois, nous avons constaté des progrès considérables dans l'utilisation d'approches par réseau neuronal pour résoudre les questions de type Cloze. Dans cet article, nous présentons un nouveau modèle appelé lecteur à attention sur attention (attention-over-attention reader) pour la tâche de compréhension de lecture de type Cloze. Notre modèle vise à placer une autre mécanisme d'attention au-dessus de l'attention au niveau du document, et induit une « attention assistée » (« attended attention ») pour les prédictions finales. Contrairement aux travaux précédents, notre modèle neuronal nécessite moins de paramètres hyperprécédemment définis et utilise une architecture élégante pour la modélisation. Les résultats expérimentaux montrent que le modèle proposé à attention sur attention dépasse significativement divers systèmes de pointe avec une marge importante dans des jeux de données publics tels que ceux du CNN et du Children's Book Test.