HyperAIHyperAI

Command Palette

Search for a command to run...

Multimodale virtuelle Punkt-3D-Detektion

Tianwei Yin Xingyi Zhou Philipp Krähenbühl

Zusammenfassung

Lidar-basierte Sensoren treiben die Entwicklung aktueller autonomer Fahrzeuge voran. Trotz erheblicher Fortschritte hinterlassen aktuelle Lidar-Sensoren traditionelle Farbkameras hinsichtlich Auflösung und Kosten um zwei Jahrzehnte. Für autonome Fahranwendungen bedeutet dies, dass große Objekte in unmittelbarer Nähe der Sensoren leicht erkennbar sind, während entfernte oder kleine Objekte lediglich aus einer oder zwei Messungen bestehen. Dies stellt ein Problem dar, insbesondere wenn sich diese Objekte als Fahrunfälle erweisen. Andererseits sind diese Objekte in den integrierten RGB-Sensoren deutlich sichtbar. In dieser Arbeit präsentieren wir einen Ansatz zur nahtlosen Integration von RGB-Sensoren in Lidar-basierte 3D-Erkennungssysteme. Unser Verfahren nutzt eine Reihe von 2D-Detektionen, um dichte 3D-Virtuelle Punkte zu generieren, die einen ansonsten spärlichen 3D-Punktwolken-Input ergänzen. Diese virtuellen Punkte integrieren sich nahtlos in beliebige Standard-Lidar-basierte 3D-Detektoren neben den regulären Lidar-Messungen. Der resultierende multimodale Detektor ist einfach und effektiv. Experimentelle Ergebnisse auf dem umfangreichen nuScenes-Datensatz zeigen, dass unser Framework eine starke CenterPoint-Basislinie um einen signifikanten Wert von 6,6 mAP verbessert und gegenüber konkurrierenden Fusionsszenarien übertrifft. Der Quellcode und zusätzliche Visualisierungen sind unter https://tianweiy.github.io/mvp/ verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp