Suivi de l'état du monde avec des réseaux d'entités récurrents

Nous présentons un nouveau modèle, le Réseau d'Entités Récurent (Recurrent Entity Network ou EntNet). Ce modèle est doté d'une mémoire à long terme dynamique qui lui permet de maintenir et de mettre à jour une représentation de l'état du monde au fur et à mesure qu'il reçoit de nouvelles données. Pour les tâches de compréhension linguistique, il peut raisonner en temps réel lorsqu'il lit du texte, et non seulement lorsque cela est nécessaire pour répondre à une question ou fournir une réponse, comme c'est le cas pour un Réseau Mémoire (Memory Network) (Sukhbaatar et al., 2015). Comme la Machine de Turing Neurale ou l'Ordinateur Neural Différentiable (Neural Turing Machine ou Differentiable Neural Computer) (Graves et al., 2014; 2016), il maintient une mémoire de taille fixe et peut apprendre à effectuer des opérations de lecture et d'écriture basées sur la position et le contenu. Cependant, contrairement à ces modèles, il possède une architecture parallèle simple dans laquelle plusieurs emplacements mémoire peuvent être mis à jour simultanément. L'EntNet établit un nouveau niveau d'excellence sur les tâches bAbI, et est la première méthode capable de résoudre toutes les tâches dans le cadre des 10 000 exemples d'entraînement. Nous démontrons également qu'il peut résoudre une tâche de raisonnement nécessitant un grand nombre de faits supports, ce que d'autres méthodes ne parviennent pas à faire, et qu'il peut généraliser au-delà de son horizon d'entraînement. Il peut également être utilisé pratiquement sur des jeux de données à grande échelle tels que le Test du Livre pour Enfants, où il obtient des performances compétitives en lisant l'histoire en un seul passage.