HyperAIHyperAI

Command Palette

Search for a command to run...

FOSTER : Boosting et compression de caractéristiques pour l'apprentissage incrémental par classes

Fu-Yun Wang Da-Wei Zhou Han-Jia Ye De-Chuan Zhan

Résumé

La capacité à apprendre de nouveaux concepts de manière continue est essentielle dans ce monde en constante évolution. Toutefois, les réseaux de neurones profonds souffrent du phénomène de « oubli catastrophique » lorsqu’ils apprennent de nouvelles catégories. De nombreuses approches ont été proposées pour atténuer ce phénomène, mais la plupart d’entre elles se heurtent soit au dilemme stabilité-plasticité, soit à un surcroît computationnel ou de stockage trop élevé. Inspirés par l’algorithme de gradient boosting, qui ajuste progressivement les résidus entre le modèle cible et l’ensemble précédent, nous proposons un nouveau paradigme d’apprentissage en deux étapes, appelé FOSTER, permettant au modèle d’apprendre de nouvelles catégories de manière adaptative. Plus précisément, nous étendons d’abord dynamiquement de nouveaux modules afin de s’ajuster aux résidus entre le modèle cible et la sortie du modèle original. Ensuite, nous éliminons les paramètres et dimensions de caractéristiques redondantes grâce à une stratégie efficace de distillation, afin de préserver un modèle principal unique. Nous validons notre méthode FOSTER sur CIFAR-100 ainsi que sur ImageNet-100/1000 sous différentes configurations. Les résultats expérimentaux montrent que notre approche atteint des performances de pointe. Le code est disponible à l’adresse suivante : https://github.com/G-U-N/ECCV22-FOSTER.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
FOSTER : Boosting et compression de caractéristiques pour l'apprentissage incrémental par classes | Articles | HyperAI