Connaissances linguistiques comme mémoire pour les réseaux de neurones récurrents

L'entraînement de réseaux de neurones récurrents pour modéliser des dépendances à long terme est difficile. Nous proposons donc d'utiliser des connaissances linguistiques externes comme un signal explicite pour informer le modèle sur les mémoires qu'il devrait utiliser. Plus précisément, ces connaissances externes sont utilisées pour augmenter une séquence avec des arêtes typées entre des éléments arbitrairement distants, et le graphe résultant est décomposé en sous-graphes dirigés acycliques. Nous introduisons un modèle qui encode de tels graphes comme une mémoire explicite dans les réseaux de neurones récurrents, et l'utilisons pour modéliser les relations de co-référence dans le texte. Nous appliquons notre modèle à plusieurs tâches de compréhension du texte et obtenons de nouveaux résultats d'état de l'art sur tous les benchmarks considérés, y compris CNN, bAbi et LAMBADA. Sur les tâches d'interrogation-réponse (QA) bAbi, notre modèle résout 15 des 20 tâches avec seulement 1 000 exemples d'entraînement par tâche. Une analyse des représentations apprises montre davantage la capacité de notre modèle à encoder des informations entitatives fines au sein d'un document.