Dans l'apprentissage continu (CL), un agent apprend à partir d'une série de tâches en utilisant son expérience antérieure pour transférer des connaissances aux tâches futures. C'est un cadre idéal pour réduire la quantité de supervision dans les algorithmes d'apprentissage existants. Cependant, pour que le transfert de connaissances soit réussi, l'apprenant doit se souvenir comment effectuer les tâches précédentes. Une façon de doter l'apprenant de cette capacité est de stocker une petite mémoire, appelée mémoire épisodique, qui conserve quelques exemples des tâches antérieures et de rejouer ces exemples lors de l'entraînement pour les tâches futures. Dans cette étude, nous analysons empiriquement l'efficacité d'une très petite mémoire épisodique dans un contexte de CL où chaque exemple d'entraînement n'est vu qu'une seule fois. De manière surprenante, sur quatre benchmarks d'apprentissage supervisé adaptés au CL, une approche très simple, qui entraîne conjointement sur les exemples de la tâche actuelle ainsi que sur ceux stockés dans la mémoire épisodique, dépasse significativement les approches spécifiquement conçues pour le CL avec ou sans mémoire épisodique. De façon intéressante, nous constatons que l'entraînement répétitif même sur des mémoires minuscules des tâches passées n'altère pas la généralisation ; au contraire, il l'améliore, avec des gains compris entre 7 % et 17 % lorsque la mémoire est remplie d'un seul exemple par classe.