HyperAIHyperAI

Command Palette

Search for a command to run...

PODNet : Distillation des sorties regroupées pour l'apprentissage incrémental de petites tâches

Arthur Douillard Matthieu Cord Charles Ollion Thomas Robert Eduardo Valle

Résumé

L’apprentissage continu a suscité un intérêt croissant, mais les travaux existants peinent encore à lutter contre l’oubli catastrophique et à accumuler des connaissances sur de longues séries d’apprentissage incrémentiel. Dans ce travail, nous proposons PODNet, un modèle inspiré par l’apprentissage de représentations. En équilibrant finement le compromis entre la mémorisation des anciennes classes et l’apprentissage des nouvelles, PODNet résiste efficacement à l’oubli catastrophique, même sur des séquences très longues de tâches incrémentielles de petite taille — un cadre jusqu’ici peu exploré par les approches actuelles. PODNet innove par rapport aux méthodes existantes grâce à une perte de distillation spatiale efficace appliquée à l’ensemble du modèle, ainsi qu’à une représentation fondée sur plusieurs vecteurs proxy par classe. Nous validons ces innovations de manière approfondie en comparant PODNet à trois modèles de pointe sur trois jeux de données : CIFAR100, ImageNet100 et ImageNet1000. Nos résultats démontrent un avantage significatif de PODNet par rapport aux états de l’art, avec des gains de précision respectifs de 12,10, 6,51 et 2,85 points de pourcentage. Le code est disponible à l’adresse suivante : https://github.com/arthurdouillard/incremental_learning.pytorch


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
PODNet : Distillation des sorties regroupées pour l'apprentissage incrémental de petites tâches | Articles | HyperAI