Segmentation panoptique avec prise en compte des parties

Dans cette étude, nous introduisons une nouvelle tâche de compréhension de la scène appelée Segmentation Panoptique Consciente des Parties (PPS), qui vise à comprendre une scène à plusieurs niveaux d'abstraction et unifie les tâches de parsing de scène et de parsing de parties. Pour cette tâche novatrice, nous fournissons des annotations cohérentes sur deux ensembles de données couramment utilisés : Cityscapes et Pascal VOC. De plus, nous présentons une métrique unique pour évaluer la PPS, appelée Qualité Panoptique Consciente des Parties (PartPQ). À l'aide de cette métrique et de ces annotations, nous établissons plusieurs lignes de base en combinant les résultats des méthodes existantes les plus avancées pour la segmentation panoptique et la segmentation de parties. Enfin, nous menons plusieurs expériences visant à évaluer l'importance des différents niveaux d'abstraction dans cette tâche unique.