Réseaux de Mémoire De Bout en Bout

Nous présentons un réseau neuronal doté d'un modèle d'attention récurrente sur une mémoire externe potentiellement importante. Cette architecture est une forme de Réseau à Mémoire (Memory Network) (Weston et al., 2015), mais contrairement au modèle de cette étude, elle est formée de manière end-to-end, ce qui réduit considérablement la supervision nécessaire lors de l'entraînement, la rendant ainsi plus largement applicable dans des contextes réalistes. Elle peut également être considérée comme une extension de RNNsearch au cas où plusieurs étapes de calcul (sauts) sont effectuées pour chaque symbole de sortie. La flexibilité du modèle nous permet de l'appliquer à des tâches aussi variées que la réponse à des questions (synthétiques) et la modélisation linguistique. Pour la première tâche, notre approche est compétitive avec les Réseaux à Mémoire, mais nécessite moins de supervision. Pour la seconde, sur les ensembles de données Penn TreeBank et Text8, notre méthode montre des performances comparables à celles des RNNs et LSTMs. Dans les deux cas, nous démontrons que le concept clé de multiples sauts computationnels améliore les résultats.