Lecteurs à Attention Contrôlée pour la Compréhension du Texte

Dans cet article, nous étudions le problème de la réponse à des questions de type « cloze » dans des documents. Notre modèle, le Lecteur à Attention Contrôlée (Gated-Attention (GA) Reader), intègre une architecture multi-sauts avec un nouveau mécanisme d'attention, basé sur des interactions multiplicatives entre l'embedding de la requête et les états intermédiaires d'un lecteur de documents neuronal récurrent. Cela permet au lecteur de construire des représentations spécifiques à la requête pour les jetons du document, facilitant ainsi une sélection précise des réponses. Le GA Reader obtient des résultats de pointe sur trois benchmarks pour cette tâche : les articles de CNN et Daily Mail ainsi que le dataset Who Did What. L'efficacité de l'interaction multiplicative est démontrée par une étude d'ablation et en comparant différents opérateurs compositionnels pour mettre en œuvre l'attention contrôlée. Le code est disponible à l'adresse suivante : https://github.com/bdhingra/ga-reader.