Échelle des réseaux neuronaux à mémoire augmentée avec lectures et écritures clairsemées

Les réseaux neuronaux augmentés d'une mémoire externe ont la capacité d'apprendre des solutions algorithmiques à des tâches complexes. Ces modèles semblent prometteurs pour des applications telles que la modélisation de langage et la traduction automatique. Cependant, leur évolutivité est limitée en termes d'espace et de temps lorsque la quantité de mémoire augmente, ce qui restreint leur utilisation dans des domaines réels. Dans cet article, nous présentons un schéma d'accès à la mémoire différentiable de bout en bout, que nous appelons Mémoire d'Accès Épars (Sparse Access Memory [SAM]), qui conserve le pouvoir représentatif des approches initiales tout en s'entraînant efficacement avec des mémoires très importantes. Nous montrons que SAM atteint les bornes inférieures asymptotiques en complexité spatiale et temporelle, et constatons qu'une implémentation fonctionne 1 000 fois plus rapidement et utilise 3 000 fois moins de mémoire physique que les modèles non épars. SAM apprend avec une efficacité comparable aux modèles existants sur une variété de tâches synthétiques et sur la reconnaissance de caractères Omniglot en une seule présentation, et peut être adapté à des tâches nécessitant des dizaines de milliers d'étapes temporelles et de mémoires. De plus, nous démontrons comment notre approche peut être modifiée pour les modèles qui maintiennent des associations temporelles entre les mémoires, comme c'est le cas pour l'ordinateur neuronal différentiable récemment introduit (Differentiable Neural Computer).