SSUL : Segmentation Sémantique avec Étiquette Inconnue pour l'Apprentissage incrémentiel par classe basé sur des exemples

Ce document présente une solide ligne de base de pointe pour un problème de segmentation sémantique incrémentielle par classe (CISS). Bien que les algorithmes CISS récents utilisent des variantes de la technique de distillation de connaissances (KD) pour aborder ce problème, ils n'ont pas réussi à résoudre pleinement les défis critiques en CISS, notamment l'oubli catastrophique ; le décalage sémantique de la classe d'arrière-plan et le problème de prédiction multi-étiquettes. Pour mieux relever ces défis, nous proposons une nouvelle méthode, appelée SSUL-M (Segmentation Sémantique avec Étiquette Inconnue et Mémoire), en combinant soigneusement des techniques spécifiquement adaptées à la segmentation sémantique. Plus précisément, nous revendiquons trois contributions principales : (1) définir des classes inconnues au sein de la classe d'arrière-plan pour faciliter l'apprentissage des futures classes (aider la plasticité), (2) figer le réseau principal et les classifieurs passés en utilisant une perte d'entropie croisée binaire et du pseudo-étiquetage pour surmonter l'oubli catastrophique (aider la stabilité), et (3) utiliser une mémoire d'exemples minuscule pour la première fois dans CISS afin d'améliorer à la fois la plasticité et la stabilité. Les expériences menées de manière extensive démontrent l'efficacité de notre méthode, qui atteint des performances significativement meilleures que les lignes de base récentes d'état de l'art sur les jeux de données standards de référence. De plus, nous justifions nos contributions grâce à des analyses d'ablation approfondies et discutons des différentes natures du problème CISS par rapport à l'apprentissage incrémentiel traditionnel axé sur la classification. Le code officiel est disponible à l'adresse suivante : https://github.com/clovaai/SSUL.