Modélisation de Langue dans un Contexte Élargi comme Compréhension de la Lecture

Les progrès dans la compréhension du texte ont été stimulés par de grands ensembles de données qui testent des capacités particulières, tels que les ensembles de données récents pour la compréhension de la lecture (Hermann et al., 2015). Nous nous concentrons ici sur l'ensemble de données LAMBADA (Paperno et al., 2016), une tâche de prédiction de mots nécessitant un contexte plus large que la phrase immédiate. Nous considérons LAMBADA comme un problème de compréhension de la lecture et appliquons des modèles de compréhension basés sur les réseaux neuronaux. Bien que ces modèles soient limités à choisir un mot dans le contexte, ils améliorent l'état de l'art sur LAMBADA, passant de 7,3 % à 49 %. Nous analysons 100 instances, constatant que les lecteurs basés sur les réseaux neuronaux se distinguent bien lorsqu'il s'agit de sélectionner un nom dans le contexte en fonction des indices dialogiques ou discursifs, mais rencontrent des difficultés lorsque la résolution de co-référence ou des connaissances externes sont nécessaires.