Mémoire neuronale à programme stocké

Les réseaux neuronaux alimentés par une mémoire externe simulent les comportements informatiques. Ces modèles, qui utilisent la mémoire pour stocker des données destinées à un contrôleur neuronal, peuvent apprendre des algorithmes et d'autres tâches complexes. Dans cet article, nous présentons une nouvelle mémoire permettant de stocker les poids du contrôleur, analogue à la mémoire de programme stocké dans les architectures informatiques modernes. Le modèle proposé, baptisé Neural Stored-program Memory (mémoire de programme stocké neuronale), améliore les réseaux neuronaux actuellement augmentés par la mémoire, créant des machines différentiables capables de basculer entre différents programmes au fil du temps, de s'adapter à des contextes variables et donc de ressembler à la Machine universelle de Turing. Une large gamme d'expériences démontre que les machines résultantes non seulement excellent dans les problèmes algorithmiques classiques, mais présentent également un potentiel pour l'apprentissage compositionnel, continu, par apprentissage avec peu d'exemples et pour les tâches de réponse aux questions.