La capacité d'apprendre des tâches de manière séquentielle est cruciale pour le développement de l'intelligence artificielle. En général, les réseaux neuronaux ne sont pas capables de cela, et il est largement admis que l'oubli catastrophique est une caractéristique inévitable des modèles connexionnistes. Nous montrons qu'il est possible de surmonter cette limitation et d'entraîner des réseaux qui peuvent maintenir leur expertise sur des tâches auxquelles ils n'ont pas été exposés depuis longtemps. Notre approche consiste à se souvenir des anciennes tâches en ralentissant sélectivement l'apprentissage sur les poids importants pour ces tâches. Nous démontrons que notre méthode est évolutive et efficace en résolvant un ensemble de tâches de classification basées sur le jeu de données MNIST de chiffres manuscrits et en apprenant plusieurs jeux Atari 2600 de manière séquentielle.