Alignement Feature-Classificateur Inspiré par Neural Collapse pour l'Apprentissage Class-Incremental à Peu de Tâches

L'apprentissage incrémental de classes avec peu d'exemples (FSCIL) constitue un problème difficile, car seules quelques données d'entraînement sont disponibles pour chaque nouvelle classe au cours des sessions ultérieures. Le fine-tuning du modèle principal (backbone) ou la mise à jour des prototypes de classificateur entraînés lors des sessions antérieures entraîne inévitablement un désalignement entre les caractéristiques et le classificateur des classes anciennes, ce qui explique le phénomène bien connu du "forgetting catastrophique". Dans ce papier, nous abordons ce dilemme de désalignement dans le cadre du FSCIL, inspirés par un phénomène récemment découvert appelé neural collapse. Ce phénomène révèle que les caractéristiques de la dernière couche relatives à la même classe convergent vers un sommet, tandis que les sommets de toutes les classes sont alignés avec les prototypes du classificateur, formant ainsi un simplexe équiangular tight frame (ETF). Cette configuration géométrique optimale correspond à un ratio de discrimination de Fisher maximal. Nous proposons un cadre inspiré par le neural collapse pour le FSCIL. Un ensemble de prototypes de classificateur est prédéfini comme un ETF simplexe pour l'espace complet des étiquettes, incluant la session de base et toutes les sessions incrémentales. Pendant l'entraînement, les prototypes de classificateur ne sont pas ajustables, et nous introduisons une nouvelle fonction de perte qui pousse les caractéristiques vers leurs prototypes correspondants. Une analyse théorique montre que notre méthode préserve l'optimalité du neural collapse et ne rompt pas l'alignement entre caractéristiques et classificateur de manière incrémentale. Des expériences menées sur les jeux de données miniImageNet, CUB-200 et CIFAR-100 démontrent que notre cadre proposé surpasser les performances actuelles de l'état de l'art. Le code source sera rendu publiquement disponible.