Réseaux à canaux conditionnels à seuil pour l'apprentissage continu conscient des tâches

Les réseaux de neurones convolutifs subissent un oubli catastrophique lorsqu’ils sont optimisés sur une séquence de problèmes d’apprentissage : au fur et à mesure qu’ils s’adaptent aux exemples d’apprentissage actuels, leur performance sur les tâches précédentes diminue fortement. Dans ce travail, nous proposons un cadre novateur pour atténuer ce problème grâce au calcul conditionnel. Nous équipons chaque couche convolutive d’un module de commutation spécifique à la tâche, qui sélectionne les filtres à appliquer sur l’entrée donnée. Cette approche permet d’obtenir deux propriétés attrayantes. Premièrement, les motifs d’exécution des commutateurs permettent d’identifier et de protéger les filtres essentiels, garantissant ainsi qu’aucune dégradation de la performance du modèle sur les tâches précédemment apprises ne se produise. Deuxièmement, en introduisant une objectif de parcimonie, nous favorisons la sélection d’un ensemble limité de noyaux, ce qui préserve une capacité suffisante du modèle pour assimiler de nouvelles tâches. Les solutions existantes nécessitent, au moment de l’évaluation, la connaissance de la tâche à laquelle chaque exemple appartient. Or, cette information peut ne pas être disponible dans de nombreux scénarios pratiques. Nous introduisons donc également un classificateur de tâches, capable de prédire l’étiquette de tâche associée à chaque exemple, afin de traiter les situations où une oracle de tâche n’est pas disponible. Nous validons notre approche sur quatre jeux de données d’apprentissage continu. Les résultats montrent que notre modèle surpasse de manière cohérente les méthodes existantes, que l’oracle de tâche soit disponible ou non. Notamment, sur les jeux de données Split SVHN et Imagenet-50, notre modèle atteint une amélioration de jusqu’à 23,98 % et 17,42 % en précision par rapport aux méthodes concurrentes.