Segmentation sémantique non supervisée à grande échelle

Grâce à de grandes bases de données, telles que ImageNet, l’apprentissage non supervisé sur de grandes échelles a permis des progrès significatifs pour les tâches de classification. Toutefois, il reste inconnu si une segmentation sémantique non supervisée à grande échelle peut être réalisée. Deux défis majeurs s’imposent : i) il est nécessaire de disposer d’un benchmark à grande échelle pour évaluer les algorithmes ; ii) il faut développer des méthodes capables d’apprendre simultanément les représentations catégorielles et formelles de manière non supervisée. Dans ce travail, nous proposons un nouveau problème de segmentation sémantique non supervisée à grande échelle (LUSS) accompagné d’un nouveau jeu de données de référence afin de stimuler les progrès de la recherche. À partir du jeu de données ImageNet, nous introduisons le jeu de données ImageNet-S, comprenant 1,2 million d’images d’entraînement et 50 000 annotations de segmentation sémantique de haute qualité pour l’évaluation. Notre benchmark présente une grande diversité de données ainsi qu’un objectif de tâche claire. Nous présentons également une méthode simple mais efficace, qui se révèle étonnamment performante pour le LUSS. En outre, nous évaluons de manière comparative des méthodes associées, supervisées, faiblement supervisées et pleinement supervisées, afin d’identifier les défis actuels et les perspectives prometteuses pour le LUSS. Le benchmark et le code source sont accessibles publiquement à l’adresse suivante : https://github.com/LUSSeg.