Semantische Beschriftung unstrukturierter Punktwolken mittels tiefer Segmentierungsnetzwerke

In dieser Arbeit beschreiben wir eine neue, allgemeine und effiziente Methode zur Beschriftung von unstrukturierten Punktwolken. Da die effiziente Anwendung tiefer konvolutioneller Neuraler Netze (CNNs) auf 3D-Daten weiterhin eine offene Herausforderung darstellt, schlagen wir einen Rahmen vor, der CNNs auf mehreren 2D-Bildansichten (oder Aufnahmen) der Punktwolke anwendet. Der Ansatz basiert auf drei zentralen Ideen. (i) Wir wählen eine große Anzahl geeigneter Aufnahmen der Punktwolke aus. Hierbei generieren wir zwei Arten von Bildern: eine RGB-Ansicht und eine Tiefen-Zusammenstellung, die geometrische Merkmale enthält. (ii) Anschließend führen wir eine pixelgenaue Beschriftung jedes Paars von 2D-Aufnahmen mittels vollständig konvolutioneller Netze durch. Verschiedene Architekturen werden getestet, um eine effektive Fusion unserer heterogenen Eingabedaten zu erreichen. (iii) Schließlich führen wir eine schnelle Rückprojektion der Labelvorhersagen in den 3D-Raum durch, wobei effiziente Pufferung eingesetzt wird, um jeden 3D-Punkt zu beschriften. Experimente zeigen, dass unsere Methode für verschiedene Arten von Punktwolken, wie beispielsweise LiDAR- oder photogrammetrische Daten, geeignet ist.