Génération de caractéristiques contextuelles pour la segmentation sémantique zéro-shot

Les modèles existants de segmentation sémantique dépendent fortement des annotations denses au niveau des pixels. Afin de réduire la charge d’annotation, nous nous concentrons sur une tâche exigeante appelée segmentation sémantique zéro-shot, dont l’objectif est de segmenter des objets inconnus sans aucune annotation. Cette tâche peut être réalisée en transférant des connaissances entre catégories grâce aux embeddings sémantiques de mots. Dans cet article, nous proposons une nouvelle méthode de génération de caractéristiques contextuelles pour la segmentation zéro-shot, nommée CaGNet. Plus précisément, en observant que les caractéristiques au niveau des pixels dépendent fortement de leur information contextuelle, nous intégrons un module contextuel dans un réseau de segmentation afin de capturer l’information contextuelle au niveau des pixels. Ce module guide le processus de génération de caractéristiques plus diversifiées et plus sensibles au contexte à partir des embeddings sémantiques de mots. Notre méthode obtient des résultats de pointe sur trois jeux de données de référence pour la segmentation zéro-shot. Le code est disponible à l’adresse suivante : https://github.com/bcmi/CaGNet-Zero-Shot-Semantic-Segmentation.