Ponctuation entre la segmentation sémantique d'image de catégorie et celle d'instance

Nous proposons une approche de segmentation d'images au niveau des instances qui s'appuie sur la segmentation au niveau des catégories. Plus précisément, pour chaque pixel dans un masque de catégorie sémantique, sa boîte englobante correspondante est prédite à l'aide d'un réseau de régression entièrement convolutif profond. Ainsi, notre méthode suit une chaîne de traitement différente des approches populaires « détecter puis segmenter » qui prédise d'abord les boîtes englobantes des instances, actuellement considérées comme l'état de l'art en segmentation d'instances. Nous démontrons que, en exploitant la puissance de nos modèles de segmentation sémantique de pointe, la méthode proposée peut obtenir des résultats comparables voire supérieurs aux approches « détecter puis segmenter ». Nous apportons les contributions suivantes : (i) Premièrement, nous proposons une approche simple mais efficace pour la segmentation d'instances sémantiques. (ii) Deuxièmement, nous proposons une méthode de bootstrap en ligne pendant l'entraînement, essentielle pour atteindre de bonnes performances tant pour la segmentation des catégories sémantiques que pour la segmentation au niveau des instances. (iii) Étant donné que les performances de la segmentation des catégories sémantiques ont un impact significatif sur la segmentation au niveau des instances, qui constitue la deuxième étape de notre approche, nous entraînons des réseaux résiduels entièrement convolutifs afin d'obtenir la meilleure précision possible en segmentation des catégories sémantiques. Sur le jeu de données PASCAL VOC 2012, nous obtenons actuellement le meilleur score moyen d'intersection sur union (IoU) de 79,1 %. (iv) Nous obtenons également des résultats à l'état de l'art en segmentation au niveau des instances.