Apprentissage de réseaux bayésiens épars avec replay d'expérience complet pour l'apprentissage continu

Les méthodes d'apprentissage continu (CL) visent à permettre aux modèles d'apprentissage automatique d'acquérir de nouvelles tâches sans oubli catastrophique de celles déjà maîtrisées. Les approches CL existantes conservent souvent un tampon de données précédemment observées, effectuent une distillation de connaissances ou utilisent des techniques de régularisation pour atteindre cet objectif. Malgré leurs performances, elles souffrent toujours d'interférences entre les tâches, ce qui entraîne un oubli catastrophique. Pour atténuer ce problème, nous proposons d'activer et de sélectionner uniquement des neurones épars pour l'apprentissage des tâches actuelles et passées à chaque stade. Cela permet ainsi de réserver plus d'espace paramétrique et de capacité du modèle pour les futures tâches. Cette approche minimise l'interférence entre les paramètres des différentes tâches. Pour ce faire, nous introduisons un réseau neuronal épars pour l'apprentissage continu (SNCL), qui utilise des a priori de parcimonie bayésienne variationnelle sur les activations des neurones dans toutes les couches. Le rappel complet de l'expérience (FER) fournit une supervision efficace pour apprendre les activations éparses des neurones dans différentes couches. Une stratégie d'échantillonnage réservoir basée sur la perte est développée pour maintenir le tampon mémoire. La méthode proposée est agnostique quant aux structures du réseau et aux frontières des tâches. Des expériences menées sur différents ensembles de données montrent que notre approche atteint des performances de pointe pour atténuer l'oubli.