Segmentation panoptique avec un réseau de segmentation sémantique et d'instances conjointes

Nous présentons une méthode de segmentation panoptique basée sur un seul réseau. Cette méthode combine les prédictions d'un réseau de segmentation sémantique et d'un réseau de segmentation d'instances formés conjointement à l'aide d'heuristiques. La formation conjointe constitue la première étape vers un réseau de segmentation panoptique entièrement intégré, et elle est plus rapide et plus efficace en termes de mémoire que la formation et la prédiction avec deux réseaux, comme c'était le cas dans les travaux précédents. L'architecture comprend un extracteur de caractéristiques ResNet-50 partagé entre la branche de segmentation sémantique et la branche de segmentation d'instances. Pour la segmentation d'instances, une architecture du type Mask R-CNN est utilisée, tandis que la branche de segmentation sémantique est renforcée par un module de pyramide de regroupement (Pyramid Pooling Module). Les résultats obtenus avec cette méthode ont été soumis au défi conjoint COCO et Mapillary 2018. Notre approche atteint un score PQ de 17,6 sur l'ensemble de validation Mapillary Vistas et de 27,2 sur l'ensemble COCO test-dev.