Amodale Panoptische Segmentierung

Menschen besitzen die bemerkenswerte Fähigkeit, Objekte als Ganzes wahrzunehmen, selbst wenn Teile von ihnen verdeckt sind. Diese Fähigkeit der amodalen Wahrnehmung bildet die Grundlage unseres perkzeptiven und kognitiven Verständnisses der Welt. Um Robotern diese Fähigkeit zu ermöglichen, formulieren und schlagen wir eine neue Aufgabe vor, die wir amodale panoptische Segmentierung nennen. Das Ziel dieser Aufgabe besteht darin, gleichzeitig die semantischen Segmentierungslabels der sichtbaren Bereiche von Stoffklassen und die instanzbasierten Segmentierungslabels sowohl der sichtbaren als auch der verdeckten Bereiche von Dingklassen vorherzusagen. Um Forschungen zu dieser neuen Aufgabe zu erleichtern, erweitern wir zwei etablierte Benchmark-Datensätze um pixelgenaue amodale panoptische Segmentierungslabels, die wir öffentlich zur Verfügung stellen als KITTI-360-APS und BDD100K-APS. Wir präsentieren mehrere starke Baseline-Modelle sowie die Metriken amodale panoptische Qualität (APQ) und amodale Parsing-Coverage (APC), um die Leistung auf eine interpretierbare Weise zu quantifizieren. Darüber hinaus schlagen wir das neuartige Netzwerk für amodale panoptische Segmentierung (APSNet) vor, welches den ersten Schritt in Richtung der Lösung dieser Aufgabe darstellt, indem es die komplexen Beziehungen zwischen Verdeckenden und Verdeckten explizit modelliert. Ausführliche experimentelle Evaluierungen zeigen, dass APSNet den aktuellen Stand der Technik auf beiden Benchmarks erreicht und wichtigerweise die Nützlichkeit der amodalen Erkennung belegt. Die Benchmarks sind unter http://amodal-panoptic.cs.uni-freiburg.de verfügbar.