Modèles neuronaux pour la raisonnement sur plusieurs mentions en utilisant la coréférence

De nombreux problèmes en traitement du langage naturel (NLP) nécessitent d'agréger des informations provenant de multiples mentions de la même entité, qui peuvent être éloignées dans le texte. Les couches de réseaux neuronaux récurrents (RNN) existantes sont biaisées vers les dépendances à court terme et ne conviennent donc pas à de telles tâches. Nous présentons une couche récurrente qui est, au contraire, biaisée vers les dépendances coreférentielles. Cette couche utilise des annotations de coreférence extraites d'un système externe pour connecter les mentions d'entités appartenant au même cluster. L'intégration de cette couche dans un modèle de compréhension de lecture de pointe améliore les performances sur trois jeux de données -- Wikihop, LAMBADA et les tâches bAbi AI -- avec des gains importants lorsque les données d'entraînement sont limitées.