JPPF: Mehrfach-Aufgaben-Fusion für konsistente panoptische Teilsegmentierung

Teilbewusste panoptische Segmentierung ist ein Problem der Computer Vision, das darauf abzielt, eine semantische Verständnis des Szeneninhalts auf mehreren Granularitätsebenen zu liefern. Genauer gesagt werden semantische Bereiche, Objektinstanzen und semantische Teile gleichzeitig vorhergesagt. In dieser Arbeit präsentieren wir unser Joint Panoptic Part Fusion (JPPF), das die drei individuellen Segmentierungen effektiv kombiniert, um eine panoptisch-teilbezogene Segmentierung zu erzielen. Zwei Aspekte sind hierfür von entscheidender Bedeutung: Erstens wird ein vereintes Modell für die drei Probleme angestrebt, das eine gegenseitig verbesserte und konsistente Repräsentationslernung ermöglicht. Zweitens ist es wichtig, die Kombination auszugleichen, sodass alle einzelnen Ergebnisse während der Fusion gleichermaßen berücksichtigt werden. Unser vorgeschlagenes JPPF ist parameterfrei und balanciert seine Eingaben dynamisch. Die Methode wird anhand der Cityscapes Panoptic Parts (CPP) und Pascal Panoptic Parts (PPP) Datensätze hinsichtlich des PartPQ und des Part-Whole Quality (PWQ) evaluiert und verglichen. In umfangreichen Experimenten bestätigen wir die Bedeutung unserer fairen Fusion, betonen ihren größten Einfluss auf Bereiche, die weiter in Teile unterteilt werden können, und zeigen die Generalisierungsfähigkeiten unseres Designs ohne Feinabstimmung an fünf zusätzlichen Datensätzen auf.