CIAN : Réseau d'Affinité Inter-Images pour la Segmentation Sémantique Faiblement Supervisée

La segmentation sémantique faiblement supervisée avec uniquement des étiquettes au niveau de l'image permet d'économiser de grands efforts humains pour annoter des étiquettes au niveau du pixel. Les approches les plus récentes s'appuient sur diverses contraintes innovantes et règles heuristiques pour générer les masques pour chaque image individuelle. Bien que ces méthodes aient permis des avancées considérables, elles traitent chaque image de manière indépendante et ne prennent pas en compte les relations entre différentes images. Dans cet article, nous soutenons cependant que la relation inter-images est essentielle pour la segmentation sémantique faiblement supervisée. En effet, elle relie les régions connexes entre les images, où des représentations supplémentaires peuvent être propagées pour obtenir des régions plus cohérentes et intégrales. Pour exploiter cette information, nous proposons un module d'affinité inter-images intégré de bout en bout, qui utilise les relations au niveau du pixel entre les images avec uniquement des étiquettes au niveau de l'image. Grâce à cela, notre méthode atteint respectivement 64,3 % et 65,3 % de mIoU (mean Intersection over Union) sur l'ensemble de validation et l'ensemble de test Pascal VOC 2012, ce qui constitue un nouveau résultat d'état de l'art en utilisant uniquement des étiquettes au niveau de l'image pour la segmentation sémantique faiblement supervisée, démontrant ainsi la supériorité de notre approche.