HyperAIHyperAI
il y a 17 jours

SOGNet : Réseau de graphe de chevauchement de scène pour la segmentation panoptique

Yibo Yang, Hongyang Li, Xia Li, Qijie Zhao, Jianlong Wu, Zhouchen Lin
SOGNet : Réseau de graphe de chevauchement de scène pour la segmentation panoptique
Résumé

La tâche de segmentation panoptique exige un résultat unifié issu des sorties de segmentation sémantique et de segmentation d’instances, pouvant inclure des superpositions. Toutefois, les études actuelles négligent largement la modélisation de ces superpositions. Dans cette recherche, nous visons à modéliser les relations de superposition entre instances et à les résoudre dans le cadre de la segmentation panoptique. Inspirés par la représentation des graphes de scène, nous formulons le problème de superposition comme un cas simplifié, nommé graphe de superposition de scène. Nous exploitons les caractéristiques catégorielles, géométriques et d’apparence de chaque objet pour réaliser un embedding relationnel, et produisons une matrice de relations qui encode les relations de superposition. Afin de surmonter le manque de supervision, nous introduisons un module différentiable permettant de résoudre les superpositions entre toute paire d’instances. Les logits de masque obtenus après suppression des superpositions sont ensuite utilisés dans une classification par pixel de l’identifiant d’instance, qui s’appuie sur la supervision panoptique pour aider à modéliser les relations de superposition. En outre, nous générons une vérité terrain approximative des relations de superposition comme supervision faible, afin de quantifier la précision des relations de superposition prédites par notre méthode. Des expériences sur COCO et Cityscapes montrent que notre approche est capable de prédire avec précision les relations de superposition, et d’atteindre des performances supérieures à l’état de l’art en segmentation panoptique. Notre méthode a également remporté le prix de l’Innovation lors du défi COCO 2019.