RecurSeed et EdgePredictMix : apprentissage de raffinement des pseudo-étiquettes pour la segmentation sémantique faiblement supervisée à travers des cadres à une et à plusieurs étapes

Bien que la segmentation sémantique faiblement supervisée utilisant uniquement des étiquettes au niveau d’image (WSSS-IL) soit potentiellement utile, sa faible performance et sa complexité d’implémentation limitent encore son application. Les principales causes en sont les phénomènes de non-détection et de fausse détection : (a) les cartes d’activation de classe issues des méthodes WSSS-IL existantes ne représentent encore que des régions partielles pour les objets de grande taille ; (b) pour les objets de petite taille, l’activation excessive fait dériver les régions détectées des contours réels de ces objets. Nous proposons RecurSeed, une méthode qui réduit de manière itérative et alternée les deux types d’erreurs grâce à des itérations récursives, permettant ainsi de trouver implicitement un point d’équilibre optimal minimisant simultanément les deux erreurs. Nous introduisons également une nouvelle méthode d’augmentation de données (DA), appelée EdgePredictMix, qui améliore la représentation des contours des objets en exploitant l’information de différence de probabilité entre pixels voisins dans les résultats de segmentation combinés, compensant ainsi les lacunes des méthodes d’augmentation de données existantes lorsqu’elles sont appliquées au cadre WSSS. Nous avons atteint de nouveaux états de l’art sur les benchmarks PASCAL VOC 2012 et MS COCO 2014 (VOC val : 74,4 %, COCO val : 46,4 %). Le code source est disponible à l’adresse suivante : https://github.com/shjo-april/RecurSeed_and_EdgePredictMix.