Segmentation sémantique faiblement supervisée par contraste pixel-prototype

Bien que la segmentation sémantique faiblement supervisée au niveau d’image (WSSS) ait connu des progrès considérables grâce aux Cartes d’Activation de Classe (CAM) au cœur de ses approches, le large écart de supervision entre la classification et la segmentation entrave encore la capacité des modèles à générer des masques pseudo-étiquetés plus complets et précis. Dans cette étude, nous proposons une méthode de contraste pixel-à-prototype faiblement supervisée, capable de fournir des signaux de supervision au niveau pixel afin de réduire cet écart. Guidée par deux prioris intuitifs, notre méthode est appliquée à travers différentes vues ainsi qu’à l’intérieur de chaque vue individuelle d’une image, dans le but d’imposer une régularisation de cohérence sémantique des caractéristiques entre vues, tout en favorisant la compacité (resp. la dispersion) intra-(resp. inter-)classe dans l’espace des caractéristiques. Notre approche peut être intégrée de manière transparente aux modèles WSSS existants sans modification du réseau de base et sans ajouter de charge computationnelle au moment de l’inférence. Des expériences étendues démontrent que notre méthode améliore de manière cohérente deux architectures de référence fortes, avec des gains significatifs, confirmant ainsi son efficacité. Plus précisément, en s’appuyant sur SEAM, nous améliorons le score initial de mIoU sur PASCAL VOC 2012 de 55,4 % à 61,5 %. De plus, en combinant notre méthode avec EPS, nous passons de 70,8 % à 73,6 % de mIoU en segmentation, atteignant ainsi un nouveau record d’état de l’art.