Command Palette
Search for a command to run...
Contraste sémantique hiérarchique pour la segmentation sémantique à supervision faible
Contraste sémantique hiérarchique pour la segmentation sémantique à supervision faible
Shaorong Xie Tong Liu Jide Li Songmin Dai Xiaoqiang Li Yuanchen Wu
Résumé
La segmentation sémantique faiblement supervisée (WSSS) à l’aide d’étiquettes au niveau d’image a connu des progrès considérables grâce à la carte d’activation de classe (CAM). Étant donné que les CAMs classiques sont peu adaptées pour combler l’écart entre la supervision complète et la supervision faible, les études récentes se sont concentrées sur l’exploration de représentations sémantiques afin d’améliorer l’adéquation des CAMs à la WSSS, obtenant ainsi des résultats prometteurs. Toutefois, ces approches explorent généralement des sémantiques à un seul niveau, ce qui peut limiter la capacité du modèle à apprendre une structure sémantique globale. Inspirés par l’hypothèse selon laquelle chaque image possède plusieurs niveaux de sémantique, nous proposons une méthode appelée contraste hiérarchique sémantique (HSC) afin de remédier à ce problème. Cette approche réalise un contraste sémantique progressif, passant d’une perspective grossière à une perspective fine, à trois niveaux : région d’intérêt (ROI), classe et pixel, permettant ainsi au modèle d’acquérir une compréhension plus fine des motifs objets. Pour améliorer davantage la qualité des CAMs, nous exploitons, sur la base de HSC, une régularisation de cohérence par supervision croisée ainsi qu’un apprentissage de prototypes à momentum afin d’exploiter efficacement les richesses sémantiques présentes à travers différentes images. Des études étendues montrent que notre paradigme d’apprentissage plug-and-play, HSC, améliore significativement la qualité des CAMs, tant sur des bases non guidées par la saliency que sur des bases guidées par la saliency, et établit un nouveau record d’état de l’art pour la WSSS sur le jeu de données PASCAL VOC 2012.