CRN: Camera Radar Net für genaue, robuste und effiziente 3D-Wahrnehmung

Autonome Fahrzeugsteuerung erfordert ein genaues und schnelles 3D-Wahrnehmungssystem, das die 3D-Objekterkennung, -verfolgung und -Segmentierung umfasst. Obwohl kürzlich entwickelte, kostengünstige kamerasbasierte Ansätze vielversprechende Ergebnisse gezeigt haben, sind sie anfällig für schlechte Beleuchtungs- oder Wetterbedingungen und weisen große Lokalisierungsfehler auf. Daher ist die Kombination von Kameras mit kostengünstigem Radar, das präzise Langstreckenmessungen liefert und in allen Umgebungen zuverlässig arbeitet, vielversprechend, wurde aber bisher noch nicht ausführlich untersucht. In dieser Arbeit schlagen wir Camera Radar Net (CRN) vor, einen neuen Rahmen zur Fusion von Kamera und Radar, der eine semantisch reichhaltige und räumlich genaue Vogelperspektive (Bird’s-Eye-View, BEV) Feature Map für verschiedene Aufgaben generiert. Um den Mangel an räumlicher Information in einem Bild zu überwinden, transformieren wir perspektivische Bildmerkmale in BEV unter Verwendung dünner, aber genauer Radarpunkte. Wir aggregieren zudem die Bild- und Radar-Feature Maps in BEV mithilfe einer multimodalen deformablen Aufmerksamkeit (Multi-Modal Deformable Attention), die entwickelt wurde, um die räumliche Fehlanpassung zwischen den Eingaben zu bewältigen. CRN im Echtzeitbetrieb erreicht eine Geschwindigkeit von 20 FPS und zeigt vergleichbare Leistungen mit LiDAR-Detektoren auf nuScenes; bei einer Entfernung von 100 Metern übertrifft es diese sogar. Darüber hinaus erreicht CRN im Offline-Betrieb auf dem nuScenes Testdatensatz einen NDS-Wert von 62,4 % und einen mAP-Wert von 57,5 % und rangiert an erster Stelle unter allen kamerasbasierten und kamera-radar-fusionierten 3D-Objektdetektoren.