HyperAIHyperAI

Command Palette

Search for a command to run...

Diviser et ne pas oublier : ensemble d'experts entraînés sélectivement en apprentissage continu

Grzegorz Rypeść Sebastian Cygert Valeriya Khan Tomasz Trzciński Bartosz Zieliński Bartłomiej Twardowski

Résumé

L'apprentissage incrémental par classes gagne en popularité car il permet aux modèles d'élargir leur domaine d'application sans oublier ce qu'ils ont déjà appris. Une tendance dans ce domaine consiste à utiliser une approche de type « mélange d'experts », où plusieurs modèles coopèrent pour résoudre une tâche donnée. Toutefois, ces experts sont généralement entraînés simultanément à l'aide de l'ensemble des données de la tâche, ce qui les rend tous sensibles à l'oubli catastrophique et augmente considérablement la charge computationnelle. Pour surmonter cette limitation, nous proposons une nouvelle méthode nommée SEED. SEED sélectionne un seul expert, le plus optimal pour la tâche considérée, et utilise uniquement les données de cette tâche pour affiner uniquement cet expert. À cette fin, chaque expert représente chaque classe par une distribution gaussienne, et l'expert optimal est choisi en fonction de la similarité entre ces distributions. En conséquence, SEED accroît la diversité et l'hétérogénéité au sein des experts tout en préservant la stabilité élevée de cette méthode d'ensemble. Les expériences étendues montrent que SEED atteint des performances de pointe dans des scénarios exempts de mémoire d'exemples (exemplar-free) dans divers contextes, démontrant ainsi le potentiel de la diversification des experts par l'exploitation des données en apprentissage continu.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp