Inférer la carte de réponse conditionnelle par classe pour la segmentation sémantique supervisée faiblement

La segmentation sémantique faiblement supervisée au niveau des images (WSSS) repose sur les cartes d’activation de classe (CAM) pour générer des pseudo-étiquettes. Étant donné que les CAM ne mettent en évidence que les régions les plus discriminantes des objets, les pseudo-étiquettes ainsi générées sont généralement insatisfaisantes pour servir directement de supervision. Pour résoudre ce problème, la plupart des approches existantes suivent un pipeline d’entraînement multi-étapes afin de raffiner les CAM afin d’obtenir de meilleures pseudo-étiquettes, comprenant : 1) un re-entraînement du modèle de classification pour générer des CAM ; 2) un post-traitement des CAM afin d’obtenir des pseudo-étiquettes ; et 3) un entraînement d’un modèle de segmentation sémantique à l’aide des pseudo-étiquettes obtenues. Toutefois, ce pipeline multi-étapes exige des réglages complexes et des temps supplémentaires. Pour remédier à cela, nous proposons une stratégie d’inférence conditionnelle par classe ainsi qu’une fonction de perte de raffinement de masque consciente de l’activation, permettant de générer de meilleures pseudo-étiquettes sans re-entraîner le classificateur. L’approche d’inférence conditionnelle par classe est conçue pour révéler de manière séparée et itérative les activations cachées de l’objet dans le réseau de classification, afin de produire des cartes de réponse plus complètes. Par ailleurs, notre fonction de perte de raffinement de masque consciente de l’activation introduit une nouvelle méthode pour exploiter les cartes de salience pendant l’entraînement de la segmentation, en affinant les masques des objets foreground sans supprimer les objets de fond. Notre méthode atteint des résultats supérieurs en WSSS sans nécessiter le re-entraînement du classificateur.