HyperAIHyperAI

Command Palette

Search for a command to run...

2DPASS: 2D-Priors-gestützte semantische Segmentierung von LiDAR-Punktwolken

Xu Yan† Jiantao Gao† Chaoda Zheng† Chao Zheng Ruimao Zhang Shuguang Cui Zhen Li∗

Zusammenfassung

Da Kamera- und LiDAR-Sensoren ergänzende Informationen für autonome Fahrzeuge erfassen, wurden große Anstrengungen unternommen, um semantische Segmentierungsalgorithmen durch die Fusion multimodaler Daten zu entwickeln. Allerdings erfordern fusionbasierte Ansätze gepaarte Daten, d.h. LiDAR-Punktwolken und Kamerabilder mit strengen Pixel-zu-Punkt-Zuordnungen, sowohl während des Trainings als auch der Inferenz, was ihre praktische Anwendung erheblich einschränkt. Daher schlagen wir in dieser Arbeit das 2D Priors Assisted Semantic Segmentation (2DPASS) vor, ein allgemeines Trainingsverfahren, das das Lernen von Darstellungen in Punktwolken durch die vollständige Nutzung von 2D-Bildern mit reichhaltigem Erscheinungsbild verbessert. In der Praxis gewinnt 2DPASS durch die Nutzung einer zusätzlichen modalen Fusion und einer multi-skalierten Fusion-zu-einzelnen Wissensdistillierung (MSFSKD) reichhaltigere semantische und strukturelle Informationen aus den multimodalen Daten, die dann online in das reine 3D-Netzwerk destilliert werden. Als Ergebnis zeigt unser Baseline-Modell mit dem Einsatz von 2DPASS bei ausschließlicher Verwendung von Punktwolken eine signifikante Verbesserung. Insbesondere erreicht es den aktuellen Stand der Technik auf zwei großen Benchmark-Datensätzen (nämlich SemanticKITTI und NuScenes), darunter die besten Ergebnisse in den Einzel- und Mehrfachscan-Wettbewerben von SemanticKITTI.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
2DPASS: 2D-Priors-gestützte semantische Segmentierung von LiDAR-Punktwolken | Paper | HyperAI