Diviser et ne pas oublier : ensemble d'experts entraînés sélectivement en apprentissage continu

L'apprentissage incrémental par classes gagne en popularité car il permet aux modèles d'élargir leur domaine d'application sans oublier ce qu'ils ont déjà appris. Une tendance dans ce domaine consiste à utiliser une approche de type « mélange d'experts », où plusieurs modèles coopèrent pour résoudre une tâche donnée. Toutefois, ces experts sont généralement entraînés simultanément à l'aide de l'ensemble des données de la tâche, ce qui les rend tous sensibles à l'oubli catastrophique et augmente considérablement la charge computationnelle. Pour surmonter cette limitation, nous proposons une nouvelle méthode nommée SEED. SEED sélectionne un seul expert, le plus optimal pour la tâche considérée, et utilise uniquement les données de cette tâche pour affiner uniquement cet expert. À cette fin, chaque expert représente chaque classe par une distribution gaussienne, et l'expert optimal est choisi en fonction de la similarité entre ces distributions. En conséquence, SEED accroît la diversité et l'hétérogénéité au sein des experts tout en préservant la stabilité élevée de cette méthode d'ensemble. Les expériences étendues montrent que SEED atteint des performances de pointe dans des scénarios exempts de mémoire d'exemples (exemplar-free) dans divers contextes, démontrant ainsi le potentiel de la diversification des experts par l'exploitation des données en apprentissage continu.