ISIM : Modèle itératif d'amélioration autonome pour la segmentation supervisée faiblement

La segmentation sémantique faiblement supervisée (WSSS) est une tâche exigeante visant à apprendre les étiquettes de segmentation à partir d’étiquettes au niveau de la classe. Dans la littérature, l’exploitation des informations issues des cartes d’activation de classe (CAMs) est largement utilisée dans les études sur la WSSS. Toutefois, puisque les CAMs sont obtenues à partir d’un réseau de classification, elles se concentrent sur les parties les plus discriminantes des objets, fournissant ainsi des informations a priori incomplètes pour les tâches de segmentation. Dans cette étude, afin d’obtenir des CAMs plus cohérentes avec les étiquettes de segmentation, nous proposons un cadre basé sur une approche itérative intégrant un modèle de segmentation à architecture modifiée encodeur-décodeur, capable de soutenir simultanément les tâches de classification et de segmentation. Étant donné qu’aucune étiquette de segmentation de vérité terrain n’est disponible, le même modèle génère également des étiquettes de segmentation pseudo-étiquetées grâce à des champs aléatoires conditionnels denses (dCRF). En conséquence, le cadre proposé se transforme en un modèle auto-améliorant itératif. Les expériences menées avec les modèles DeepLabv3 et UNet montrent une amélioration significative sur le jeu de données Pascal VOC12, et l’application de DeepLabv3 permet d’augmenter le métrique actuelle de l’état de l’art de 2,5 %. L’implémentation associée aux expériences est disponible à l’adresse suivante : https://github.com/cenkbircanoglu/isim.