RMM : Gestion renforcée de la mémoire pour l'apprentissage incrémental par classes

L'apprentissage incrémental par classes (CIL) [40] entraîne des classificateurs sous un budget mémoire strict : à chaque phase incrémentale, l'apprentissage se fait sur de nouvelles données, dont la majorité sont abandonnées afin de libérer de l'espace pour la phase suivante. Les données conservées servent d'exemplaires pour la répétition (replay). Toutefois, les méthodes existantes utilisent une stratégie statique et ad hoc pour la répartition de la mémoire, qui est souvent sous-optimale. Dans ce travail, nous proposons une stratégie dynamique de gestion mémoire, optimisée pour les phases incrémentales et les différentes classes d'objets. Nous appelons notre méthode la gestion renforcée de la mémoire (RMM), qui exploite l'apprentissage par renforcement. L'entraînement de RMM n'est pas naturellement compatible avec le CIL, car les données passées et futures sont strictement inaccessibles pendant les phases incrémentales. Nous résolvons ce problème en entraînant la fonction politique de RMM sur des tâches CIL pseudo-étendues, par exemple des tâches construites à partir des données de la phase 0, puis en appliquant cette politique à des tâches cibles. RMM propage deux niveaux d'actions : le niveau 1 détermine la répartition de la mémoire entre les classes anciennes et les nouvelles, tandis que le niveau 2 alloue la mémoire à chaque classe spécifique. En somme, il s'agit d'une méthode généralisable et optimisable pour la gestion de la mémoire, applicable à tout méthode CIL basée sur le replay. Pour l'évaluation, nous intégrons RMM à deux méthodes de pointe (LUCIR+AANets et POD+AANets [30]) et menons des expériences sur trois benchmarks (CIFAR-100, ImageNet-Subset et ImageNet-Full). Nos résultats montrent des améliorations significatives, par exemple une augmentation de 3,6 %, 4,4 % et 1,9 % pour POD+AANets dans les configurations à 25 phases respectivement sur ces trois benchmarks.