Apprentissage de représentations récurrentes d'intervalles pour l'answer de questions extractives

La tâche de compréhension de la lecture, qui consiste à poser des questions sur un document d'évidence donné, est un problème central dans la compréhension du langage naturel. Les formulations récentes de cette tâche se sont généralement concentrées sur le choix de la réponse parmi un ensemble de candidats pré-définis manuellement ou grâce à l'utilisation d'un pipeline NLP externe. Cependant, Rajpurkar et al. (2016) ont récemment publié le jeu de données SQuAD, dans lequel les réponses peuvent être des chaînes arbitraires issues du texte fourni. Dans cet article, nous nous concentrons sur cette tâche d'extraction de réponses, en présentant une architecture de modèle novatrice qui construit efficacement des représentations de longueur fixe de toutes les séquences dans le document d'évidence avec un réseau récurrent. Nous montrons que l'évaluation explicite des représentations de séquences améliore considérablement les performances par rapport aux autres approches qui décomposent la prédiction en prédictions distinctes sur les mots ou les marqueurs de début et de fin. Notre approche améliore les meilleurs résultats publiés par Wang & Jiang (2016) de 5 % et réduit l'erreur du modèle de base proposé par Rajpurkar et al. (2016) de plus de 50 %.