Bien que les approches d'apprentissage profond se soient distinguées ces dernières années grâce à leurs résultats de pointe, elles continuent à souffrir de l'oubli catastrophique, une diminution drastique des performances globales lors de l'entraînement avec des classes ajoutées de manière incrémentielle. Ceci est dû au fait que les architectures actuelles des réseaux neuronaux nécessitent l'ensemble du jeu de données, comprenant tous les échantillons des anciennes ainsi que des nouvelles classes, pour mettre à jour le modèle – une exigence qui devient rapidement insoutenable lorsque le nombre de classes augmente. Nous abordons ce problème avec notre approche d'apprentissage incrémentiel de réseaux neuronaux profonds, en utilisant de nouvelles données et un petit ensemble exemplaire correspondant aux échantillons des anciennes classes. Cette méthode repose sur une fonction de perte composée d'une mesure de distillation pour conserver les connaissances acquises des anciennes classes, et d'une perte de cross-entropie pour apprendre les nouvelles classes. Notre entraînement incrémentiel est réalisé tout en maintenant le cadre entièrement end-to-end, c'est-à-dire en apprenant la représentation des données et le classifieur conjointement, contrairement aux méthodes récentes qui ne garantissent pas cela. Nous évaluons notre méthode de manière exhaustive sur les jeux de données d'images CIFAR-100 et ImageNet (ILSVRC 2012), et montrons des performances de pointe.