HyperAIHyperAI

Command Palette

Search for a command to run...

SFC : Calibration des caractéristiques partagées dans la segmentation sémantique sous supervision faible

Xinqiao Zhao Feilong Tang Xiaoyang Wang Jimin Xiao

Résumé

La segmentation sémantique faiblement supervisée au niveau des images a récemment suscité un intérêt croissant en raison de son faible coût d'annotation. Les méthodes existantes s'appuient principalement sur la carte d'activation de classe (Class Activation Mapping, CAM) pour obtenir des pseudo-étiquettes afin d'entraîner des modèles de segmentation sémantique. Dans ce travail, nous sommes les premiers à démontrer qu'une distribution longue-taillée des données d'entraînement peut entraîner une suractivation des classes dominantes (head classes) et une sous-activation des classes rares (tail classes) dans la CAM calculée à partir des poids du classificateur, en raison des caractéristiques partagées entre les classes dominantes et les classes rares. Ce phénomène dégrade la qualité des pseudo-étiquettes et affecte négativement les performances finales de la segmentation sémantique. Pour résoudre ce problème, nous proposons une méthode de calibration des caractéristiques partagées (Shared Feature Calibration, SFC) pour la génération de CAM. Plus précisément, nous exploitons les prototypes de classe qui contiennent des caractéristiques partagées positives, et introduisons une perte de consistance à pondération de distribution multi-échelle (Multi-Scaled Distribution-Weighted, MSDW), afin de réduire l'écart entre les CAM générées à partir des poids du classificateur et celles issues des prototypes de classe durant l'entraînement. La perte MSDW équilibre la suractivation et la sous-activation en calibrant les caractéristiques partagées présentes dans les poids du classificateur des classes dominantes et rares. Les résultats expérimentaux montrent que notre méthode SFC améliore significativement la précision des frontières des CAM et atteint de nouveaux états de l'art. Le projet est disponible à l'adresse suivante : https://github.com/Barrett-python/SFC.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
SFC : Calibration des caractéristiques partagées dans la segmentation sémantique sous supervision faible | Articles | HyperAI