PLOP : Apprentissage sans oubli pour la segmentation sémantique continue

Les approches d'apprentissage profond sont aujourd'hui utilisées de manière ubique pour aborder des tâches de vision par ordinateur telles que la segmentation sémantique, nécessitant des ensembles de données importants et une puissance de calcul substantielle. L'apprentissage continu pour la segmentation sémantique (CSS) est une tendance émergente qui consiste à mettre à jour un ancien modèle en ajoutant séquentiellement de nouvelles classes. Cependant, les méthodes d'apprentissage continu sont généralement sujettes à l'oubli catastrophique. Ce problème est encore exacerbé dans le CSS, où, à chaque étape, les anciennes classes des itérations précédentes sont fusionnées dans le fond. Dans cet article, nous proposons Local POD, un schéma de distillation par poolage multi-échelle qui préserve les relations spatiales à longue et courte portée au niveau des caractéristiques. De plus, nous concevons une pseudo-étiquetage basé sur l'entropie du fond par rapport aux classes prédites par l'ancien modèle afin de gérer le décalage du fond et d'éviter l'oubli catastrophique des anciennes classes. Notre approche, appelée PLOP, surpasse significativement les méthodes de pointe existantes dans les scénarios CSS actuels ainsi que dans de nouveaux benchmarks exigeants proposés récemment.