Découverte de masques d’objets avec des Transformers pour une segmentation sémantique non supervisée

La tâche de segmentation sémantique non supervisée vise à regrouper les pixels en classes sémantiquement significatives. Plus précisément, les pixels attribués au même cluster doivent partager des propriétés sémantiques de haut niveau, telles que leur catégorie d’objet ou de partie. Ce papier présente MaskDistill : un cadre novateur pour la segmentation sémantique non supervisée fondé sur trois idées clés. Premièrement, nous proposons une stratégie pilotée par les données afin de générer des masques d’objets qui servent de prior sur le regroupement des pixels pour la segmentation sémantique. Cette approche élimine les priors manuellement conçus, souvent spécifiquement adaptés à des compositions scéniques particulières et qui limitent la généralisation des cadres concurrents. Deuxièmement, MaskDistill regroupe les masques d’objets afin d’obtenir des étiquettes pseudo-vérité terrain pour entraîner un modèle initial de segmentation d’objets. Troisièmement, nous exploitons ce modèle pour filtrer les masques d’objets de faible qualité. Cette stratégie réduit le bruit présent dans notre prior de regroupement des pixels et permet d’obtenir une collection propre de masques, utilisée pour entraîner un modèle final de segmentation. En combinant ces composants, nous surpassons considérablement les approches antérieures pour la segmentation sémantique non supervisée sur PASCAL (+11 % de mIoU) et COCO (+4 % de mask AP50). De façon intéressante, contrairement aux méthodes existantes, notre cadre ne s’appuie pas sur des indices d’image de bas niveau et n’est pas limité aux jeux de données centrés sur les objets. Le code et les modèles seront rendus disponibles.