Apprentissage sémantique de prompt pour la segmentation sémantique faiblement supervisée

La segmentation sémantique faiblement supervisée (WSSS) vise à entraîner des modèles de segmentation à l’aide de données d’images munies uniquement d’étiquettes au niveau de l’image. Étant donné que les annotations pixel-par-pixel précises ne sont pas disponibles, les méthodes existantes se concentrent généralement sur la génération de masques pseudo-étiquetés pour l’entraînement des modèles de segmentation, en affinant des cartes thermiques du type CAM. Toutefois, les cartes thermiques produites peuvent ne capturer que les régions discriminantes des catégories d’objets ou les arrière-plans associés fréquemment présents. Pour résoudre ces limites, nous proposons un cadre intitulé SemPLeS (Semantic Prompt Learning for WSSS), qui apprend à guider efficacement l’espace latent de CLIP afin d’améliorer l’alignement sémantique entre les régions segmentées et les catégories d’objets cibles. Plus précisément, nous introduisons l’apprentissage contrastif de prompts et le raffinement sémantique guidé par les prompts, afin d’apprendre des prompts capables de décrire adéquatement les objets tout en supprimant les arrière-plans associés à chaque catégorie. Ainsi, SemPLeS parvient à une meilleure alignement sémantique entre les régions d’objets et les étiquettes de classe, conduisant à des masques pseudo-étiquetés de qualité pour l’entraînement des modèles de segmentation. Le cadre SemPLeS atteint des performances compétitives sur les benchmarks standards de WSSS, PASCAL VOC 2012 et MS COCO 2014, tout en étant compatible avec d’autres méthodes de WSSS. Code : https://github.com/NVlabs/SemPLeS.