Lutter contre l'oubli catastrophique et le décalage de fond dans la segmentation sémantique continue

Les approches d'apprentissage profond sont aujourd'hui utilisées de manière ubiqüe pour aborder des tâches de vision par ordinateur telles que la segmentation sémantique, nécessitant de grands ensembles de données et une puissance de calcul substantielle. L'apprentissage continu pour la segmentation sémantique (CSS) est une tendance émergente qui consiste à mettre à jour un ancien modèle en ajoutant séquentiellement de nouvelles classes. Cependant, les méthodes d'apprentissage continu sont généralement sujettes à l'oubli catastrophique. Ce problème est encore exacerbé dans le CSS, où, à chaque étape, les anciennes classes des itérations précédentes sont fusionnées dans le fond. Dans cet article, nous proposons Local POD, un schéma de distillation par agrégation multi-échelle qui préserve les relations spatiales à longue et courte portée au niveau des caractéristiques. De plus, nous concevons un pseudo-étiquetage basé sur l'entropie du fond par rapport aux classes prédites par l'ancien modèle afin de gérer le décalage du fond et d'éviter l'oubli catastrophique des anciennes classes. Enfin, nous introduisons une nouvelle méthode de répétition particulièrement adaptée à la segmentation. Notre approche, appelée PLOP (Pseudo-Labelling and Local POD), surpasse significativement les méthodes de pointe existantes dans les scénarios CSS actuels ainsi que dans de nouveaux benchmarks exigeants proposés récemment.