SEGCloud: Semantische Segmentierung von 3D-Punktwolken

Die 3D semantische Szenebeschriftung ist grundlegend für Agenten, die in der realen Welt operieren. Insbesondere ermöglicht die Beschriftung roher 3D-Punktmengen von Sensoren eine feingranulare Semantik. Kürzliche Arbeiten nutzen die Fähigkeiten von Neuronalen Netzen (NNs), sind jedoch auf grobe Voxel-Vorhersagen beschränkt und erzwingen die globale Konsistenz nicht explizit. Wir stellen SEGCloud vor, ein End-to-End-Framework zur Erzeugung einer 3D-Punktsegmentierung, das die Vorteile von NNs, trilinearer Interpolation (TI) und vollständig verbundenen bedingten Markowfeldern (FC-CRF) kombiniert. Grobe Voxel-Vorhersagen eines 3D Fully Convolutional NN werden durch trilineare Interpolation auf die rohen 3D-Punkte übertragen. Anschließend erzwingt das FC-CRF die globale Konsistenz und liefert eine feingranulare Semantik für die Punkte. Die letztere Implementierung erfolgt als differenzierbares rekurrentes NN, um eine gemeinsame Optimierung zu ermöglichen. Wir evaluieren das Framework anhand zweier indoor- und zweier outdoor-3D-Datensätze (NYU V2, S3DIS, KITTI, Semantic3D.net) und zeigen Leistungen, die vergleichbar oder überlegen sind zu den aktuellen Stand der Technik auf allen Datensätzen.