Un alternative au WSSS ? Une étude empirique du modèle Segment Anything (SAM) sur les problèmes de segmentation sémantique faiblement supervisée

Le modèle Segment Anything (SAM) a fait preuve d'une performance et d'une polyvalence exceptionnelles, se révélant ainsi un outil prometteur pour diverses tâches connexes. Dans ce rapport, nous explorons l'application de SAM à la segmentation sémantique faiblement supervisée (WSSS). Plus précisément, nous adaptons SAM comme pipeline de génération de pseudo-étiquettes, en ne disposant que d'étiquettes de classe au niveau de l'image. Bien que nous ayons observé des résultats remarquables dans la plupart des cas, nous avons également identifié certaines limitations. Notre étude inclut des évaluations de performance sur les jeux de données PASCAL VOC et MS-COCO, où nous avons obtenu des améliorations significatives par rapport aux méthodes les plus récentes de l'état de l'art sur les deux ensembles de données. Nous espérons que ce rapport incitera à de nouvelles recherches sur l'adoption de SAM dans le cadre de la WSSS, ainsi qu'à des applications plus larges dans des contextes réels.