S3CNet: Ein spärliches semantisches Szenen-Vervollständigungsnetzwerk für LiDAR-Punktwolken

Mit der zunehmenden Abhängigkeit selbstfahrender und ähnlicher robotischer Systeme von zuverlässigem 3D-Vision wird die Verarbeitung von LiDAR-Scans mittels tiefen konvolutioneller neuronalen Netze in Akademie und Industrie zu einem etablierten Trend. Frühere Ansätze zur anspruchsvollen Aufgabe der semantischen Szenenkompletierung – die die Schätzung einer dichten 3D-Struktur sowie zugehöriger semantischer Labels aus „spärlichen“ Darstellungen beinhaltet – zeigten, zumindest in kleinen Innenräumen, eine gewisse Erfolgsbilanz, wenn dichte Punktwolken oder dichte Tiefenkarten bereitgestellt wurden, die häufig mit semantischen Segmentierungskarten aus RGB-Bildern fusioniert wurden. Allerdings sinkt die Leistung dieser Systeme drastisch, wenn sie auf große Außenbereiche angewendet werden, die durch dynamische Bedingungen und exponentiell spärlichere Daten gekennzeichnet sind. Ebenso wird die Verarbeitung des gesamten spärlichen Volumens aufgrund von Speicherbeschränkungen unmöglich; Workarounds führen zu einer erheblichen Rechenin-effizienz, da Anwender gezwungen sind, das Gesamtvolumen in mehrere gleich große Segmente zu unterteilen und diese einzeln zu verarbeiten, was eine Echtzeitverarbeitung unmöglich macht. In dieser Arbeit formulieren wir eine Methode, die die Spärlichkeit großskaliger Umgebungen berücksichtigt, und stellen S3CNet vor, ein auf spärlichen Konvolutionen basierendes neuronales Netzwerk, das die semantisch vervollständigte Szene aus einer einzigen, einheitlichen LiDAR-Punktwolke vorhersagt. Wir zeigen, dass unser vorgeschlagenes Verfahren alle bisherigen Ansätze bei der 3D-Aufgabe übertrifft und die bisher besten Ergebnisse auf dem SemanticKITTI-Benchmark erzielt. Zudem schlagen wir eine 2D-Variante von S3CNet mit einer Multi-View-Fusionsstrategie vor, um unser 3D-Netz zu ergänzen und Robustheit gegenüber Verdeckungen sowie extremer Spärlichkeit in fernen Regionen zu gewährleisten. Wir führen Experimente zur 2D-semantischen Szenenkompletierung durch und vergleichen die Ergebnisse unseres spärlichen 2D-Netzwerks mit mehreren führenden LiDAR-Segmentierungsmodellen, die für die Vogelperspektiven-Segmentierung angepasst wurden, auf zwei öffentlich verfügbaren Datensätzen.