SFC : Calibration des caractéristiques partagées dans la segmentation sémantique sous supervision faible

La segmentation sémantique faiblement supervisée au niveau des images a récemment suscité un intérêt croissant en raison de son faible coût d'annotation. Les méthodes existantes s'appuient principalement sur la carte d'activation de classe (Class Activation Mapping, CAM) pour obtenir des pseudo-étiquettes afin d'entraîner des modèles de segmentation sémantique. Dans ce travail, nous sommes les premiers à démontrer qu'une distribution longue-taillée des données d'entraînement peut entraîner une suractivation des classes dominantes (head classes) et une sous-activation des classes rares (tail classes) dans la CAM calculée à partir des poids du classificateur, en raison des caractéristiques partagées entre les classes dominantes et les classes rares. Ce phénomène dégrade la qualité des pseudo-étiquettes et affecte négativement les performances finales de la segmentation sémantique. Pour résoudre ce problème, nous proposons une méthode de calibration des caractéristiques partagées (Shared Feature Calibration, SFC) pour la génération de CAM. Plus précisément, nous exploitons les prototypes de classe qui contiennent des caractéristiques partagées positives, et introduisons une perte de consistance à pondération de distribution multi-échelle (Multi-Scaled Distribution-Weighted, MSDW), afin de réduire l'écart entre les CAM générées à partir des poids du classificateur et celles issues des prototypes de classe durant l'entraînement. La perte MSDW équilibre la suractivation et la sous-activation en calibrant les caractéristiques partagées présentes dans les poids du classificateur des classes dominantes et rares. Les résultats expérimentaux montrent que notre méthode SFC améliore significativement la précision des frontières des CAM et atteint de nouveaux états de l'art. Le projet est disponible à l'adresse suivante : https://github.com/Barrett-python/SFC.