FOSTER : Boosting et compression de caractéristiques pour l'apprentissage incrémental par classes

La capacité à apprendre de nouveaux concepts de manière continue est essentielle dans ce monde en constante évolution. Toutefois, les réseaux de neurones profonds souffrent du phénomène de « oubli catastrophique » lorsqu’ils apprennent de nouvelles catégories. De nombreuses approches ont été proposées pour atténuer ce phénomène, mais la plupart d’entre elles se heurtent soit au dilemme stabilité-plasticité, soit à un surcroît computationnel ou de stockage trop élevé. Inspirés par l’algorithme de gradient boosting, qui ajuste progressivement les résidus entre le modèle cible et l’ensemble précédent, nous proposons un nouveau paradigme d’apprentissage en deux étapes, appelé FOSTER, permettant au modèle d’apprendre de nouvelles catégories de manière adaptative. Plus précisément, nous étendons d’abord dynamiquement de nouveaux modules afin de s’ajuster aux résidus entre le modèle cible et la sortie du modèle original. Ensuite, nous éliminons les paramètres et dimensions de caractéristiques redondantes grâce à une stratégie efficace de distillation, afin de préserver un modèle principal unique. Nous validons notre méthode FOSTER sur CIFAR-100 ainsi que sur ImageNet-100/1000 sous différentes configurations. Les résultats expérimentaux montrent que notre approche atteint des performances de pointe. Le code est disponible à l’adresse suivante : https://github.com/G-U-N/ECCV22-FOSTER.