Segmentation sémantique semi-supervisée contrastive-cohérente par pixels

Nous présentons une nouvelle méthode semi-supervisée de segmentation sémantique qui atteint simultanément deux propriétés souhaitées en matière de régularité des modèles de segmentation : la propriété de cohérence dans l’espace des étiquettes entre différentes augmentations d’image, et la propriété contrastive dans l’espace des caractéristiques entre différents pixels. Nous utilisons respectivement la perte L2 au niveau des pixels et la perte contrastive au niveau des pixels pour ces deux objectifs. Pour résoudre les problèmes d’efficacité computationnelle et de bruit de faux négatifs liés à la perte contrastive au niveau des pixels, nous introduisons et étudions plusieurs techniques d’échantillonnage négatif. Des expériences étendues démontrent les performances de pointe de notre méthode, nommée PC2Seg, basée sur l’architecture DeepLab-v3+, dans plusieurs configurations exigeantes de segmentation semi-supervisée issues des jeux de données VOC, Cityscapes et COCO.