HyperAIHyperAI
vor 2 Monaten

RGB-Ereignisfusion für die Erkennung bewegter Objekte im autonomen Fahren

Zhou, Zhuyun ; Wu, Zongwei ; Boutteau, Rémi ; Yang, Fan ; Demonceaux, Cédric ; Ginhac, Dominique
RGB-Ereignisfusion für die Erkennung bewegter Objekte im autonomen Fahren
Abstract

Die Bewegungsobjekterkennung (Bewegtes Objekt Detektion, MOD) ist eine entscheidende Aufgabe im Bereich der Bildverarbeitung, um sicheres autonomes Fahren zu gewährleisten. Trotz plausibler Ergebnisse von Tiefenlernmethoden sind die meisten existierenden Ansätze nur rahmenbasiert und können bei der Verarbeitung dynamischer Verkehrsteilnehmer möglicherweise nicht ein akzeptables Leistungslevel erreichen. Neuere Fortschritte in der Sensor-Technologie, insbesondere die Entwicklung der Ereigniskamera, können das herkömmliche Kamerasystem natürlich ergänzen, um bewegte Objekte besser zu modellieren. Allerdings verwenden ereignisbasierte Arbeiten oft eine vordefinierte Zeitfenster für die Ereignisdarstellung und integrieren diese einfach, um aus den Ereignissen Bildintensitäten abzuleiten, wobei sie viel von den reichhaltigen zeitlichen Informationen der verfügbaren asynchronen Ereignisse vernachlässigen. Aus diesem Grund schlagen wir aus einer neuen Perspektive RENet vor, ein neuartiges RGB-Ereignis-Fusionsnetzwerk, das beide komplementären Modalitäten gemeinsam nutzt, um eine robusteren MOD unter herausfordernden Szenarien für autonomes Fahren zu erreichen. Insbesondere entwickeln wir zunächst ein zeitliches Mehrskalen-Aggregationsmodul, um die Ereignisframes sowohl während der RGB-Expositionszeit als auch über längere Intervalle vollständig zu nutzen. Anschließend führen wir ein bidirektionales Fusionsmodul ein, das multimodale Merkmale aufmerksam kalibriert und fusioniert. Um die Leistungsfähigkeit unseres Netzwerks zu evaluieren, haben wir sorgfältig einen Teil-Datensatz für MOD aus dem häufig verwendeten DSEC-Datensatz ausgewählt und annotiert. Umfangreiche Experimente zeigen, dass unser vorgeschlagener Ansatz erheblich bessere Ergebnisse liefert als die besten bisher bekannten RGB-Ereignis-Fusionsalternativen. Der Quellcode und der Datensatz sind öffentlich verfügbar unter: https://github.com/ZZY-Zhou/RENet.