HyperAIHyperAI

Command Palette

Search for a command to run...

Apprentissage incrémental de classes peu supervisé avec contraintes

Michael Hersche Geethan Karunaratne Giovanni Cherubini Luca Benini Abu Sebastian Abbas Rahimi

Résumé

Apprendre continuellement de nouvelles classes à partir de données fraîches sans oublier les connaissances antérieures sur les classes précédentes constitue un problème de recherche extrêmement difficile. En outre, un tel apprentissage doit respecter certaines contraintes mémoire et computationnelles, notamment : (i) le nombre d’échantillons d’entraînement par classe est limité à quelques exemplaires seulement, (ii) le coût computationnel nécessaire pour apprendre une nouvelle classe reste constant, et (iii) la taille mémoire du modèle croît au plus linéairement avec le nombre de classes observées. Pour répondre à ces contraintes, nous proposons C-FSCIL, une architecture composée d’un extracteur de caractéristiques métapré-entraîné et figé, d’une couche entièrement connectée de taille fixe et entraînable, ainsi que d’un mémoire dynamiquement croissant réécritable, capable de stocker autant de vecteurs que de classes rencontrées. C-FSCIL propose trois modes de mise à jour offrant un compromis entre précision et coût mémoire-computationnel pour l’apprentissage des nouvelles classes. Grâce à l’utilisation d’un embedding hyperdimensionnel, C-FSCIL permet d’exprimer continuellement un nombre de classes bien supérieur aux dimensions fixes de l’espace vectoriel, avec un interférence minimale. La qualité des représentations vectorielles des classes est améliorée par une alignment quasi-orthogonale entre ces vecteurs, réalisée grâce à de nouvelles fonctions de perte. Des expériences menées sur les jeux de données CIFAR100, miniImageNet et Omniglot montrent que C-FSCIL surpasser largement les méthodes de référence en termes de précision et de compression. Il s’agit également de la plus grande configuration jamais testée dans ce cadre de few-shot learning, puisqu’elle permet d’apprendre 423 nouvelles classes au-dessus de 1200 classes de base avec une perte de précision inférieure à 1,6 %. Le code source est disponible à l’adresse suivante : https://github.com/IBM/constrained-FSCIL.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Apprentissage incrémental de classes peu supervisé avec contraintes | Articles | HyperAI