Entraînement co-entraîné amélioré aux limites pour la segmentation sémantique à supervision faible

Les méthodes actuelles de segmentation sémantique faiblement supervisée (WSSS) accordent une grande importance à la génération de cartes d'activation de classe (CAMs) précises et complètes, utilisées comme pseudo-étiquettes, tout en négligeant l'importance de l'entraînement effectif des réseaux de segmentation. Dans ce travail, nous observons un désalignement entre la qualité des pseudo-étiquettes contenues dans les CAMs et la performance du modèle de segmentation final, les pixels mal étiquetés étant principalement concentrés dans les zones limites. Inspirés par ces constatations, nous proposons de recentrer l'attention des méthodes WSSS sur un apprentissage robuste face aux pseudo-étiquettes bruitées, et introduisons une méthode originale de co-entraînement renforcée aux frontières, appelée BECO (Boundary-Enhanced Co-Training). Plus précisément, nous proposons d'abord d'utiliser un paradigme de co-entraînement basé sur deux réseaux interactifs afin d'améliorer l'apprentissage des pixels incertains. Ensuite, nous introduisons une stratégie renforcée aux frontières, qui améliore la prédiction des zones difficiles situées aux limites, en exploitant les prédictions fiables pour construire des frontières artificielles. Grâce à la combinaison de la co-entraînement et de l'amélioration des frontières, notre méthode parvient à atteindre des performances de segmentation prometteuses, indépendamment du type de CAMs utilisé. Des expériences étendues sur les jeux de données PASCAL VOC 2012 et MS COCO 2014 confirment l'avantage de notre approche BECO par rapport aux méthodes de pointe actuelles.