Segmentation sémantique continue par répulsion-attraction de représentations latentes éparse et désentrelacées

Les réseaux neuronaux profonds souffrent de la limitation majeure de l'oubli catastrophique des tâches anciennes lorsqu'ils apprennent de nouvelles tâches. Dans cet article, nous nous concentrons sur l'apprentissage continu incrémentiel par classe dans le domaine du découpage sémantique, où de nouvelles catégories deviennent disponibles au fil du temps tandis que les données d'entraînement précédentes ne sont pas conservées. Le schéma d'apprentissage continu proposé façonne l'espace latent pour réduire l'oubli tout en améliorant la reconnaissance des classes nouvelles. Notre cadre est guidé par trois composants novateurs que nous combinons également sans effort avec des techniques existantes. Premièrement, le prototypage cohérent (prototypes matching) maintient la cohérence de l'espace latent pour les classes anciennes, contraignant l'encodeur à produire des représentations latentes similaires pour les classes déjà vues lors des étapes ultérieures. Deuxièmement, la sparsification des caractéristiques (features sparsification) permet de libérer de l'espace dans l'espace latent afin d'accueillir les classes nouvelles. Enfin, l'apprentissage contrastif (contrastive learning) est utilisé pour regrouper les caractéristiques selon leur sémantique tout en séparant celles des classes différentes. Une évaluation approfondie sur les jeux de données Pascal VOC2012 et ADE20K démontre l'efficacité de notre approche, qui surpasse significativement les méthodes de pointe actuelles.