Segmentation Panoptique Amodale

Les humains possèdent la remarquable capacité de percevoir les objets dans leur intégralité, même lorsque certaines parties sont occultées. Cette aptitude à la perception amodale constitue la base de notre compréhension perceptuelle et cognitive du monde. Pour doter les robots de cette capacité, nous formulons et proposons une nouvelle tâche que nous nommons segmentation panoramique amodale. L'objectif de cette tâche est de prédire simultanément les étiquettes de segmentation sémantique au niveau des pixels pour les régions visibles des classes d'objets étendus (stuff) et les étiquettes de segmentation d'instances pour les régions visibles et occultées des classes d'objets distincts (thing). Afin de faciliter la recherche sur cette nouvelle tâche, nous avons étendu deux ensembles de données de référence bien établis avec des étiquettes de segmentation panoramique amodale au niveau des pixels, que nous mettons à disposition publiquement sous le nom de KITTI-360-APS et BDD100K-APS. Nous présentons plusieurs modèles de référence solides, ainsi que les métriques qualité panoramique amodale (APQ) et couverture d'analyse amodale (APC) pour quantifier les performances d'une manière interprétable. De plus, nous proposons le réseau de segmentation panoramique amodale (APSNet), comme première étape vers la résolution de cette tâche en modélisant explicitement les relations complexes entre les occultants et les occultés. Des évaluations expérimentales approfondies montrent que l'APSNet atteint des performances d'avant-garde sur les deux ensembles de données et illustre, plus important encore, l'utilité de la reconnaissance amodale. Les ensembles de données sont disponibles à l'adresse http://amodal-panoptic.cs.uni-freiburg.de.