Eine Übersicht über die Panoptische Segmentierung von mobilen Kartierungs-Punktwolken

Die 3D-Punktwolken-Panoptic-Segmentation ist die kombinierte Aufgabe, (i) jedem Punkt eine semantische Klasse zuzuweisen und (ii) die Punkte innerhalb jeder Klasse in einzelne Objektinstanzen zu separieren. In letzter Zeit hat sich ein zunehmendes Interesse an einer umfassenden 3D-Szenenverstehens entwickelt, das auf den raschen Fortschritten der semantischen Segmentierung durch den Aufstieg tiefer 3D-Neuraler Netze beruht. Dennoch existiert bislang nur sehr wenig Forschungsarbeit zu der Panoptic-Segmentierung von Outdoor-Mobile-Mapping-Daten, und es gibt keine systematischen Vergleiche. Der vorliegende Artikel zielt darauf ab, diese Lücke zu schließen. Er analysiert die grundlegenden Bausteine für die Aufstellung eines Panoptic-Segmentierungspipelines sowie die zugehörige Literatur. Darüber hinaus wird eine modulare Pipeline implementiert, um umfassende, systematische Experimente durchzuführen, um den aktuellen Stand der Panoptic-Segmentierung im Kontext von Straßenkartierung zu bewerten. Als Nebenprodukt stellen wir außerdem zum ersten Mal einen öffentlich verfügbaren Datensatz für diese Aufgabe bereit, indem wir den NPM3D-Datensatz um Instanzlabels erweitern. Dieser Datensatz sowie unser Quellcode sind öffentlich zugänglich. Wir diskutieren, welche Anpassungen erforderlich sind, um aktuelle Panoptic-Segmentierungsmethoden auf Außenbereichsszenen und große Objekte zu übertragen. Unsere Studie zeigt, dass für Mobile-Mapping-Daten KPConv die beste Leistung erzielt, jedoch langsamer ist, während PointNet++ am schnellsten ist, aber deutlich schlechtere Ergebnisse liefert. Sparse CNNs liegen dazwischen. Unabhängig vom Backbone erweist sich die Instanzsegmentierung durch Clustering von Embedding-Features als besser als die Verwendung verschobener Koordinaten.