Fusion von ereignisbasierter und RGB-Kamera für robuste Objekterkennung unter ungünstigen Bedingungen

Die Fähigkeit, Objekte unter Bildverzerrungen und unterschiedlichen Wetterbedingungen zu detektieren, ist für Deep-Learning-Modelle von entscheidender Bedeutung, insbesondere wenn sie in realen Anwendungen wie der autonomen Fahrzeugsteuerung eingesetzt werden. Herkömmliche auf RGB-Bildern basierende Detektionssysteme versagen unter solchen Bedingungen, weshalb es wichtig ist, einen Sensorensatz zu entwerfen, der redundante Sicherheit gegenüber Ausfällen der primären framebasierten Detektion bietet. Event-basierte Kameras können framebasierte Kameras in schwach beleuchteten Situationen und Szenarien mit hohem Dynamikbereich ergänzen, wie sie ein autonomes Fahrzeug während der Navigation begegnen kann. Dementsprechend schlagen wir ein redundantes Sensorfusionssystem aus eventbasierten und framebasierten Kameras vor, das robust gegenüber häufigen Bildverzerrungen ist. Die Methode verwendet eine Voxel-Grid-Darstellung von Ereignissen als Eingabe und stellt ein zweigeteiltes, paralleles Merkmalsextraktionsnetzwerk für Frames und Ereignisse vor. Unser Ansatz zur Sensorfusion zeigt eine Umsetzungsrobustheit gegenüber Verzerrungen um über 30 % im Vergleich zu rein framebasierten Detektionen und übertrifft zudem die Leistung reiner eventbasierter Detektion. Das Modell wurde auf dem öffentlich verfügbaren DSEC-Datensatz trainiert und evaluiert.