Apprentissage incrémental de classes peu supervisé avec contraintes

Apprendre continuellement de nouvelles classes à partir de données fraîches sans oublier les connaissances antérieures sur les classes précédentes constitue un problème de recherche extrêmement difficile. En outre, un tel apprentissage doit respecter certaines contraintes mémoire et computationnelles, notamment : (i) le nombre d’échantillons d’entraînement par classe est limité à quelques exemplaires seulement, (ii) le coût computationnel nécessaire pour apprendre une nouvelle classe reste constant, et (iii) la taille mémoire du modèle croît au plus linéairement avec le nombre de classes observées. Pour répondre à ces contraintes, nous proposons C-FSCIL, une architecture composée d’un extracteur de caractéristiques métapré-entraîné et figé, d’une couche entièrement connectée de taille fixe et entraînable, ainsi que d’un mémoire dynamiquement croissant réécritable, capable de stocker autant de vecteurs que de classes rencontrées. C-FSCIL propose trois modes de mise à jour offrant un compromis entre précision et coût mémoire-computationnel pour l’apprentissage des nouvelles classes. Grâce à l’utilisation d’un embedding hyperdimensionnel, C-FSCIL permet d’exprimer continuellement un nombre de classes bien supérieur aux dimensions fixes de l’espace vectoriel, avec un interférence minimale. La qualité des représentations vectorielles des classes est améliorée par une alignment quasi-orthogonale entre ces vecteurs, réalisée grâce à de nouvelles fonctions de perte. Des expériences menées sur les jeux de données CIFAR100, miniImageNet et Omniglot montrent que C-FSCIL surpasser largement les méthodes de référence en termes de précision et de compression. Il s’agit également de la plus grande configuration jamais testée dans ce cadre de few-shot learning, puisqu’elle permet d’apprendre 423 nouvelles classes au-dessus de 1200 classes de base avec une perte de précision inférieure à 1,6 %. Le code source est disponible à l’adresse suivante : https://github.com/IBM/constrained-FSCIL.