Segmentation sémantique faiblement supervisée par apprentissage adversaire entre classificateur et reconstructeur

Dans le cadre de la segmentation sémantique faiblement supervisée (WSSS), les cartes d'activation de classe (CAMs) présentent généralement deux défauts principaux : 1) elles ne couvrent pas intégralement les objets, et 2) elles s'activent sur des régions non pertinentes. Pour remédier à ces problèmes, nous proposons un nouveau cadre WSSS fondé sur un apprentissage adversarial entre un classificateur et un reconstructeur d'images. Lorsqu'une image est parfaitement décomposée en segments par classe, l'information (telle que la couleur ou la texture) d'un segment unique ne peut pas être inférée à partir des autres segments. Par conséquent, la capacité d'inférence entre les segments peut servir d'indicateur de précision de la segmentation. Nous quantifions cette inférabilité comme une qualité de reconstruction d'un segment à partir des autres. Si un segment peut être reconstruit à partir des autres, cela indique qu'il est imprecis. Pour intégrer cette idée dans le cadre WSSS, nous entraînons simultanément deux modèles : un classificateur qui génère des CAMs afin de décomposer l'image en segments, et un reconstructeur qui mesure l'inférabilité entre ces segments. À l'instar des réseaux antagonistes génératifs (GANs), ces deux réseaux sont entraînés de manière alternée et adversariale, se renforçant mutuellement. Nous validons l'efficacité de notre approche à l'aide d'études ablatives étendues. Notre méthode atteint de nouveaux résultats d'état de l'art sur les jeux de données PASCAL VOC 2012 et MS COCO 2014. Le code est disponible à l'adresse suivante : https://github.com/sangrockEG/ACR.