PODNet : Distillation des sorties regroupées pour l'apprentissage incrémental de petites tâches

L’apprentissage continu a suscité un intérêt croissant, mais les travaux existants peinent encore à lutter contre l’oubli catastrophique et à accumuler des connaissances sur de longues séries d’apprentissage incrémentiel. Dans ce travail, nous proposons PODNet, un modèle inspiré par l’apprentissage de représentations. En équilibrant finement le compromis entre la mémorisation des anciennes classes et l’apprentissage des nouvelles, PODNet résiste efficacement à l’oubli catastrophique, même sur des séquences très longues de tâches incrémentielles de petite taille — un cadre jusqu’ici peu exploré par les approches actuelles. PODNet innove par rapport aux méthodes existantes grâce à une perte de distillation spatiale efficace appliquée à l’ensemble du modèle, ainsi qu’à une représentation fondée sur plusieurs vecteurs proxy par classe. Nous validons ces innovations de manière approfondie en comparant PODNet à trois modèles de pointe sur trois jeux de données : CIFAR100, ImageNet100 et ImageNet1000. Nos résultats démontrent un avantage significatif de PODNet par rapport aux états de l’art, avec des gains de précision respectifs de 12,10, 6,51 et 2,85 points de pourcentage. Le code est disponible à l’adresse suivante : https://github.com/arthurdouillard/incremental_learning.pytorch