HyperAIHyperAI

Command Palette

Search for a command to run...

RGB-Ereignisfusion für die Erkennung bewegter Objekte im autonomen Fahren

Zhou Zhuyun ; Wu Zongwei ; Boutteau Rémi ; Yang Fan ; Demonceaux Cédric ; Ginhac Dominique

Zusammenfassung

Die Bewegungsobjekterkennung (Bewegtes Objekt Detektion, MOD) ist eine entscheidende Aufgabe im Bereich der Bildverarbeitung, um sicheres autonomes Fahren zu gewährleisten. Trotz plausibler Ergebnisse von Tiefenlernmethoden sind die meisten existierenden Ansätze nur rahmenbasiert und können bei der Verarbeitung dynamischer Verkehrsteilnehmer möglicherweise nicht ein akzeptables Leistungslevel erreichen. Neuere Fortschritte in der Sensor-Technologie, insbesondere die Entwicklung der Ereigniskamera, können das herkömmliche Kamerasystem natürlich ergänzen, um bewegte Objekte besser zu modellieren. Allerdings verwenden ereignisbasierte Arbeiten oft eine vordefinierte Zeitfenster für die Ereignisdarstellung und integrieren diese einfach, um aus den Ereignissen Bildintensitäten abzuleiten, wobei sie viel von den reichhaltigen zeitlichen Informationen der verfügbaren asynchronen Ereignisse vernachlässigen. Aus diesem Grund schlagen wir aus einer neuen Perspektive RENet vor, ein neuartiges RGB-Ereignis-Fusionsnetzwerk, das beide komplementären Modalitäten gemeinsam nutzt, um eine robusteren MOD unter herausfordernden Szenarien für autonomes Fahren zu erreichen. Insbesondere entwickeln wir zunächst ein zeitliches Mehrskalen-Aggregationsmodul, um die Ereignisframes sowohl während der RGB-Expositionszeit als auch über längere Intervalle vollständig zu nutzen. Anschließend führen wir ein bidirektionales Fusionsmodul ein, das multimodale Merkmale aufmerksam kalibriert und fusioniert. Um die Leistungsfähigkeit unseres Netzwerks zu evaluieren, haben wir sorgfältig einen Teil-Datensatz für MOD aus dem häufig verwendeten DSEC-Datensatz ausgewählt und annotiert. Umfangreiche Experimente zeigen, dass unser vorgeschlagener Ansatz erheblich bessere Ergebnisse liefert als die besten bisher bekannten RGB-Ereignis-Fusionsalternativen. Der Quellcode und der Datensatz sind öffentlich verfügbar unter: https://github.com/ZZY-Zhou/RENet.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp