Maintien de la discrimination et de l'équité dans l'apprentissage incrémental de classe

Les réseaux de neurones profonds (DNN) ont été appliqués à l’apprentissage incrémental par classes, une tâche visant à résoudre des problèmes réels courants liés à l’apprentissage continu de nouvelles classes. Un inconvénient des DNN standards réside dans leur propension au oubli catastrophique. La distillation de connaissances (KD) est une technique couramment utilisée pour atténuer ce problème. Dans cet article, nous démontrons qu’elle peut effectivement aider le modèle à produire des résultats plus discriminants au sein des anciennes classes. Toutefois, elle ne parvient pas à atténuer le phénomène selon lequel le modèle a tendance à classer les objets dans les nouvelles classes, ce qui masque et limite l’effet positif de la KD. Nous avons observé qu’un facteur important contribuant au oubli catastrophique est le biais élevé des poids dans la dernière couche entièrement connectée (FC) lors de l’apprentissage incrémental par classes. Dans cet article, nous proposons une solution simple et efficace, inspirée de ces observations, pour atténuer le oubli catastrophique. Premièrement, nous utilisons la KD pour préserver la discrimination au sein des anciennes classes. Ensuite, afin de renforcer l’équité entre les anciennes et les nouvelles classes, nous introduisons Weight Aligning (WA), une méthode qui corrige les poids biaisés dans la couche FC après le processus d’entraînement normal. Contrairement aux travaux antérieurs, WA ne nécessite ni paramètres supplémentaires ni ensemble de validation préalable, car elle exploite directement les informations contenues dans les poids biaisés eux-mêmes. La méthode proposée est évaluée sur ImageNet-1000, ImageNet-100 et CIFAR-100 dans diverses configurations. Les résultats expérimentaux montrent que la méthode proposée permet efficacement de réduire le oubli catastrophique et surpasse significativement les méthodes de pointe.