Segmentation Sémantique Non Supervisée Causale

La segmentation sémantique non supervisée vise à réaliser un regroupement sémantique de haute qualité sans annotations étiquetées par des humains. Avec l'arrivée de l'auto-encodage pré-entraîné, divers cadres utilisent les caractéristiques pré-entraînées pour former des têtes de prédiction dans le but d'effectuer une prédiction dense non supervisée. Cependant, un défi majeur dans ce cadre non supervisé est de déterminer le niveau de clustering approprié nécessaire pour segmenter les concepts. Pour y remédier, nous proposons un nouveau cadre, la Segmentation Sémantique Non Supervisée CAusale (CAUSE), qui tire parti des connaissances issues de l'inférence causale. Plus précisément, nous établissons un pont entre une approche orientée intervention (c'est-à-dire l'ajustement par la porte avant) pour définir des tâches en deux étapes adaptées à la prédiction non supervisée. La première étape consiste à construire un concept clusterbook en tant que médiateur, qui représente des prototypes de concepts possibles à différents niveaux de granularité sous forme discrétisée. Ensuite, le médiateur établit un lien explicite avec l'apprentissage auto-supervisé conceptuel suivant pour le regroupement au niveau des pixels. À travers des expérimentations et analyses exhaustives sur divers jeux de données, nous confirmons l'efficacité de CAUSE et atteignons des performances d'état de l'art en segmentation sémantique non supervisée.