Le Défi de Compréhension de Lecture NarrativeQA

Compréhension de la lecture (CL) --- contrairement à la recherche d'information --- nécessite l'intégration des informations et le raisonnement sur les événements, les entités et leurs relations au sein d'un document complet. L'évaluation de la capacité de CL utilise traditionnellement des tâches de réponse à des questions, tant pour les agents artificiels que pour les enfants apprenant à lire. Cependant, les jeux de données et les tâches existants en CL sont dominés par des questions qui peuvent être résolues en sélectionnant des réponses basées sur des informations superficielles (par exemple, la similarité du contexte local ou la fréquence globale des termes) ; ils échouent donc à tester l'aspect intégratif essentiel de la CL. Pour encourager les progrès dans une compréhension plus profonde du langage, nous présentons un nouveau jeu de données et un ensemble de tâches dans lesquelles le lecteur doit répondre à des questions sur des histoires en lisant des livres entiers ou des scénarios de films. Ces tâches sont conçues de manière à ce que répondre correctement aux questions nécessite une compréhension du récit sous-jacent plutôt qu'une simple correspondance de motifs superficiels ou une salience. Nous montrons que, bien que les humains résolvent ces tâches facilement, les modèles standards de CL ont du mal avec les tâches présentées ici. Nous fournissons une analyse du jeu de données et des défis qu'il présente.