Représentations de mots contextualisées pour la compréhension de la lecture

La lecture d'un document et l'extraction d'une réponse à une question concernant son contenu ont récemment attiré une attention considérable. Bien que la plupart des travaux se soient concentrés sur l'interaction entre la question et le document, dans cette étude, nous évaluons l'importance du contexte lorsque la question et le document sont traités de manière indépendante. Nous utilisons une architecture neuronale standard pour cette tâche et démontrons que, en fournissant des représentations de mots contextualisées riches issues d'un grand modèle de langage pré-entraîné, ainsi qu'en permettant au modèle de choisir entre des représentations de mots dépendantes ou indépendantes du contexte, nous pouvons obtenir des améliorations spectaculaires et atteindre des performances comparables aux meilleures actuellement sur l'ensemble de données SQuAD (Stanford Question Answering Dataset).