Apprentissage d’étiquettes pseudo pour la segmentation sémantique semi-et faiblement supervisée

Dans cet article, nous nous intéressons à la segmentation sémantique semi-supervisée et faiblement supervisée (SWSSS), dans laquelle un grand nombre d’étiquettes de classification au niveau de l’image et un petit nombre d’étiquettes au niveau des pixels sont disponibles. Nous estimons que le point le plus crucial pour résoudre le problème SWSSS réside dans la génération d’étiquettes pseudo de haute qualité, et notre méthode aborde cette question sous deux angles. Premièrement, nous introduisons une fonction de perte d’entropie croisée sensible aux classes (CCE) pour l’entraînement du réseau. Contrairement à la fonction d’entropie croisée classique, la perte CCE incite le modèle à distinguer uniquement les classes concurrentes, ce qui simplifie ainsi la cible d’apprentissage pour la génération des étiquettes pseudo. Deuxièmement, nous proposons une méthode de formation croisée progressive (PCT) qui établit une supervision mutuelle entre deux réseaux via un mécanisme d’évaluation dynamique, permettant progressivement d’introduire les prédictions de haute qualité comme supervision supplémentaire pendant l’entraînement. Notre méthode améliore de manière significative la qualité des étiquettes pseudo générées dans des scénarios où les annotations sont extrêmement limitées. Des expériences étendues démontrent que notre approche surpasse de façon significative les méthodes de pointe actuelles.