2DPASS: 2D-Priors-gestützte semantische Segmentierung von LiDAR-Punktwolken

Da Kamera- und LiDAR-Sensoren ergänzende Informationen für autonome Fahrzeuge erfassen, wurden große Anstrengungen unternommen, um semantische Segmentierungsalgorithmen durch die Fusion multimodaler Daten zu entwickeln. Allerdings erfordern fusionbasierte Ansätze gepaarte Daten, d.h. LiDAR-Punktwolken und Kamerabilder mit strengen Pixel-zu-Punkt-Zuordnungen, sowohl während des Trainings als auch der Inferenz, was ihre praktische Anwendung erheblich einschränkt. Daher schlagen wir in dieser Arbeit das 2D Priors Assisted Semantic Segmentation (2DPASS) vor, ein allgemeines Trainingsverfahren, das das Lernen von Darstellungen in Punktwolken durch die vollständige Nutzung von 2D-Bildern mit reichhaltigem Erscheinungsbild verbessert. In der Praxis gewinnt 2DPASS durch die Nutzung einer zusätzlichen modalen Fusion und einer multi-skalierten Fusion-zu-einzelnen Wissensdistillierung (MSFSKD) reichhaltigere semantische und strukturelle Informationen aus den multimodalen Daten, die dann online in das reine 3D-Netzwerk destilliert werden. Als Ergebnis zeigt unser Baseline-Modell mit dem Einsatz von 2DPASS bei ausschließlicher Verwendung von Punktwolken eine signifikante Verbesserung. Insbesondere erreicht es den aktuellen Stand der Technik auf zwei großen Benchmark-Datensätzen (nämlich SemanticKITTI und NuScenes), darunter die besten Ergebnisse in den Einzel- und Mehrfachscan-Wettbewerben von SemanticKITTI.