CW-BASS : Apprentissage axé sur les frontières et pondéré par la confiance pour la segmentation sémantique semi-supervisée

La segmentation sémantique semi-supervisée (SSSS) vise à améliorer les performances de segmentation en exploitant de grandes quantités de données non étiquetées tout en disposant de très peu d'exemples étiquetés. Les méthodes existantes souffrent fréquemment de couplage, où une dépendance excessive aux données initialement étiquetées conduit à un apprentissage sous-optimal ; de biais de confirmation, où les prédictions erronées se renforcent répétitivement ; et d'effacement des contours, causé par une faible sensibilité aux frontières et des signaux d'arête ambigus. Pour atténuer ces problèmes, nous proposons CW-BASS, un nouveau cadre pour la SSSS. Afin de limiter l'impact des prédictions incorrectes, nous attribuons des poids de confiance aux pseudo-étiquettes. Par ailleurs, nous exploitons des techniques de délimitation des frontières, qui, bien qu'abondamment étudiées dans le cadre de la segmentation sémantique faiblement supervisée (WSSS), restent sous-exploitées en SSSS. Plus précisément, notre méthode : (1) réduit le couplage grâce à une fonction de perte pondérée par la confiance, qui ajuste l'influence des pseudo-étiquettes en fonction de leurs scores de confiance prédits ; (2) atténue le biais de confirmation via un mécanisme de seuillage dynamique qui apprend à filtrer les pseudo-étiquettes en fonction de la performance du modèle ; (3) combat l'effacement des contours grâce à un module sensible aux frontières, permettant de raffiner la segmentation aux abords des objets ; et (4) réduit le bruit d'étiquetage par une stratégie de décroissance de la confiance qui affine progressivement les pseudo-étiquettes au cours de l'entraînement. Des expériences étendues sur Pascal VOC 2012 et Cityscapes montrent que CW-BASS atteint des performances de pointe. Notamment, CW-BASS obtient un mIoU de 65,9 % sur Cityscapes dans un cadre exigeant et peu exploré avec une répartition 1/30 (3,3 %) (100 images), mettant en évidence son efficacité dans les scénarios à faible nombre d'étiquettes. Notre code est disponible à l'adresse suivante : https://github.com/psychofict/CW-BASS.