Multimodale virtuelle Punkt-3D-Detektion

Lidar-basierte Sensoren treiben die Entwicklung aktueller autonomer Fahrzeuge voran. Trotz erheblicher Fortschritte hinterlassen aktuelle Lidar-Sensoren traditionelle Farbkameras hinsichtlich Auflösung und Kosten um zwei Jahrzehnte. Für autonome Fahranwendungen bedeutet dies, dass große Objekte in unmittelbarer Nähe der Sensoren leicht erkennbar sind, während entfernte oder kleine Objekte lediglich aus einer oder zwei Messungen bestehen. Dies stellt ein Problem dar, insbesondere wenn sich diese Objekte als Fahrunfälle erweisen. Andererseits sind diese Objekte in den integrierten RGB-Sensoren deutlich sichtbar. In dieser Arbeit präsentieren wir einen Ansatz zur nahtlosen Integration von RGB-Sensoren in Lidar-basierte 3D-Erkennungssysteme. Unser Verfahren nutzt eine Reihe von 2D-Detektionen, um dichte 3D-Virtuelle Punkte zu generieren, die einen ansonsten spärlichen 3D-Punktwolken-Input ergänzen. Diese virtuellen Punkte integrieren sich nahtlos in beliebige Standard-Lidar-basierte 3D-Detektoren neben den regulären Lidar-Messungen. Der resultierende multimodale Detektor ist einfach und effektiv. Experimentelle Ergebnisse auf dem umfangreichen nuScenes-Datensatz zeigen, dass unser Framework eine starke CenterPoint-Basislinie um einen signifikanten Wert von 6,6 mAP verbessert und gegenüber konkurrierenden Fusionsszenarien übertrifft. Der Quellcode und zusätzliche Visualisierungen sind unter https://tianweiy.github.io/mvp/ verfügbar.