Toujours Rêver : Une Nouvelle Approche pour l'Apprentissage Class-Incremental Sans Données

Les applications modernes de vision par ordinateur souffrent du phénomène de forgetting catastrophique lors d’un apprentissage incrémentiel de nouveaux concepts au fil du temps. Les approches les plus efficaces pour atténuer ce phénomène nécessitent un réapprentissage étendu des données précédemment observées, ce qui pose problème en présence de contraintes mémoire ou de considérations liées à la légalité des données. Dans ce travail, nous abordons le problème à fort impact qu’est l’apprentissage incrémentiel de classes sans données (DFCIL), dans lequel un agent d’apprentissage incrémentiel doit acquérir de nouveaux concepts au fil du temps sans stocker ni les générateurs ni les données d’entraînement des tâches antérieures. Une approche courante pour le DFCIL consiste à rejouer des images synthétiques produites par inversion d’une copie figée du modèle de classification de l’apprenant, mais nous montrons que cette méthode échoue sur les benchmarks courants d’apprentissage incrémentiel de classes lorsqu’elle utilise des stratégies standard de distillation. Nous identifions la cause de cet échec et proposons une nouvelle stratégie de distillation incrémentielle pour le DFCIL, incluant une version modifiée de la fonction de perte par entropie croisée et une distillation des caractéristiques pondérée par importance. Nous démontrons que notre méthode permet d’obtenir une augmentation allant jusqu’à 25,1 % de la précision sur la tâche finale (différence absolue) par rapport aux méthodes d’état de l’art en DFCIL sur des benchmarks courants d’apprentissage incrémentiel de classes. De plus, notre approche surpasse même plusieurs méthodes classiques basées sur le réapprentissage qui stockent un coreset d’images.