Tiefe projektive 3D semantische Segmentierung

Die semantische Segmentierung von 3D-Punktwolken ist ein anspruchsvolles Problem mit zahlreichen praktischen Anwendungen. Während das Deep Learning das Feld der Bildsemantiksegmentierung revolutioniert hat, war sein Einfluss auf Punktwolken-Daten bisher begrenzt. Kürzliche Ansätze, die auf 3D-Deep-Learning-Methoden (3D-CNNs) basieren, haben untererwartete Ergebnisse erzielt. Solche Methoden erfordern eine Voxelisierung der zugrundeliegenden Punktwolken-Daten, was zu einer verringerten räumlichen Auflösung und einem erhöhten Speicherverbrauch führt. Zudem leiden 3D-CNNs stark unter der begrenzten Verfügbarkeit annotierter Datensätze.In dieser Arbeit schlagen wir einen alternativen Rahmen vor, der die Einschränkungen von 3D-CNNs vermeidet. Anstatt das Problem direkt in 3D zu lösen, projizieren wir zunächst die Punktwolke auf eine Reihe synthetischer 2D-Bilder. Diese Bilder werden dann als Eingabe für ein 2D-CNN verwendet, das für die semantische Segmentierung entwickelt wurde. Schließlich werden die erhaltenen Vorhersagebewertungen zurückprojiziert auf die Punktwolke, um die Segmentierungsergebnisse zu erhalten. Wir untersuchen zudem den Einfluss verschiedener Modalitäten wie Farbe, Tiefe und Oberflächennormalen in einer Multi-Stream-Netzarchitektur. Die Experimente wurden am jüngsten Semantic3D-Datensatz durchgeführt. Unser Ansatz setzt einen neuen Stand der Technik durch Erzielung eines relativen Gewinns von 7,9 % im Vergleich zum bisher besten Ansatz.