SpatialFlow : Rebrancher toutes les tâches pour la segmentation panoptique

La localisation des objets constitue un élément fondamental de la segmentation panoptique, car elle est directement liée à l'ensemble des « things » et des « stuff » présents dans la scène image. Connaître les positions des objets dans l'image fournit des indices essentiels pour la segmentation et aide le réseau à mieux comprendre la scène. L’intégration de la localisation des objets dans les tâches de segmentation des « things » et des « stuff » demeure un problème crucial. Dans cet article, nous proposons des flux d’information spatiale afin d’atteindre cet objectif. Ces flux permettent de relier toutes les sous-tâches de la segmentation panoptique en transmettant le contexte spatial des objets depuis la tâche de régression de boîtes vers les autres tâches. Plus important encore, nous avons conçu quatre sous-réseaux parallèles afin d’assurer une adaptation optimale des informations spatiales des objets dans chaque sous-tâche. En combinant ces sous-réseaux et les flux, nous proposons un cadre unifié et conscient de la localisation pour la segmentation panoptique, désigné sous le nom de SpatialFlow. Nous menons une étude ablation détaillée sur chaque composant et réalisons des expériences étendues pour démontrer l’efficacité de SpatialFlow. En outre, nous atteignons des résultats de pointe, obtenant respectivement des scores PQ de 47,9 et 62,5 sur les benchmarks panoptiques MS-COCO et Cityscapes. Le code sera disponible à l’adresse suivante : https://github.com/chensnathan/SpatialFlow.