Comprendre l'oubli catastrophique et la mémoire en apprentissage continu grâce à une cartographie optimale de la pertinence

Le oubli catastrophique dans les réseaux de neurones constitue un problème majeur pour l'apprentissage continu. La plupart des méthodes actuelles reposent sur le réapprentissage de données passées pendant l'entraînement, ce qui contredit les contraintes d'un système idéal d'apprentissage continu. En outre, les approches actuelles visant à atténuer l'oubli négligent le phénomène de « souvenir catastrophique », c’est-à-dire la dégradation de la capacité à distinguer les données issues de tâches différentes. Dans notre travail, nous introduisons les Réseaux de Cartographie de Rélevance (RMNs), inspirés de l'Hypothèse de Surapprentissage Optimal. Ces cartographies reflètent la pertinence des poids pour la tâche en cours en attribuant des poids élevés aux paramètres essentiels. Nous démontrons que les RMNs apprennent un surapprentissage représentationnel optimisé, permettant de surmonter simultanément les deux problèmes du souvenir et de l’oubli catastrophiques. Notre approche atteint des performances de pointe sur l'ensemble des jeux de données courants d'apprentissage continu, surpassant même significativement les méthodes basées sur le réapprentissage de données, tout en respectant les contraintes d’un système idéal d’apprentissage continu. En outre, les RMNs conservent la capacité à détecter, de manière non supervisée, des données provenant de nouvelles tâches, ce qui atteste leur résilience face au souvenir catastrophique.