Semantische Segmentierung unterstützte Szenen-Vervollständigung für LiDAR-Punktwolken

Die Vervollständigung von Außenbereichen ist eine herausfordernde Aufgabe im Bereich des 3D-Szenenverstehens und spielt eine entscheidende Rolle für intelligente Robotik und autonome Fahrzeuge. Aufgrund der Sparsamkeit der LiDAR-Daten ist die Vervollständigung von 3D-Szenen sowie die semantische Segmentierung erheblich komplexer. Da semantische Merkmale Einschränkungen und semantische Vorwissen für Vervollständigungsaufgaben liefern können, lohnt sich die Untersuchung der Beziehung zwischen diesen beiden Aufgaben. Daher schlagen wir ein end-to-end-Netzwerk zur semantischen Segmentierung unterstützten Szenenvervollständigung vor, das eine 2D-Vervollständigungsbranch und eine 3D-Semantik-Segmentierungsbranch enthält. Konkret verarbeitet das Netzwerk eine rohe Punktwolke als Eingabe und integriert hierarchisch Merkmale aus der Segmentierungsbranch in die Vervollständigungsbranch, um semantische Informationen bereitzustellen. Durch die Verwendung einer Bird’s-Eye-View-(BEV)-Darstellung sowie 3D-sparser Faltung profitieren wir von geringeren Rechenanforderungen, während gleichzeitig eine effektive Darstellung gewährleistet bleibt. Zudem dient der Decoder der Segmentierungsbranch als Hilfskomponente, die im Inference-Modus entfernt werden kann, um die Rechenkosten zu reduzieren. Umfangreiche Experimente zeigen, dass unsere Methode auf dem SemanticKITTI-Datensatz konkurrenzfähige Ergebnisse mit geringer Latenz erzielt. Der Quellcode und die Modelle werden unter https://github.com/jokester-zzz/SSA-SC veröffentlicht.