Une Étude Approfondie de la Tâche de Compréhension de Lecture CNN/Daily Mail

Permettre à un ordinateur de comprendre un document de manière à pouvoir y répondre aux questions de compréhension est un objectif central, mais encore non résolu, du traitement automatique des langues naturelles (NLP). Un facteur clé qui entrave sa résolution par les systèmes d'apprentissage automatique est la disponibilité limitée de données annotées par des humains. Hermann et al. (2015) cherchent à résoudre ce problème en créant plus d'un million d'exemples d'entraînement en associant des articles de CNN et du Daily Mail avec leurs points résumés, et montrent qu'un réseau neuronal peut alors être formé pour obtenir de bonnes performances sur cette tâche. Dans cet article, nous menons une analyse approfondie de cette nouvelle tâche de compréhension de la lecture. Notre objectif principal est de comprendre le niveau de compréhension linguistique requis pour bien performer sur cette tâche. Nous abordons cela d'une part par une analyse manuelle minutieuse d'un petit sous-ensemble des problèmes, et d'autre part en montrant que des systèmes simples, mais soigneusement conçus, peuvent atteindre des taux d'exactitude de 73,6 % et 76,6 % sur ces deux jeux de données, dépassant ainsi les résultats actuels les plus avancés de 7 à 10 % et s'approchant ce que nous considérons comme le plafond des performances sur cette tâche.