HyperAIHyperAI

Command Palette

Search for a command to run...

CAFuser: Bedingungsbewusste Multimodale Fusion für eine robuste semantische Wahrnehmung von Fahrzeugszenen

Tim Brödermann Christos Sakaridis Yuqian Fu Luc Van Gool

Zusammenfassung

Die Nutzung mehrerer Sensoren ist entscheidend für eine robuste semantische Wahrnehmung im autonomen Fahren, da jeder Sensortyp seine spezifischen Stärken und Schwächen aufweist. Bestehende Sensorfusionmethoden behandeln jedoch die Sensoren oft gleichförmig unter allen Bedingungen, was zu suboptimaler Leistung führt. Im Gegensatz dazu schlagen wir einen neuen, bedingungsabhängigen multimodalen Fusionansatz vor, um eine robuste semantische Wahrnehmung von Fahrzeugumgebungen zu gewährleisten. Unsere Methode, CAFuser, verwendet eine RGB-Kameraeingabe zur Klassifikation der Umweltbedingungen und generiert ein Condition Token (Bedingungstoken), das die Fusion verschiedener Sensormodalitäten steuert. Wir führen zudem modalspezifische Feature-Adapter ein, um die verschiedenen Sensorinputs in einen gemeinsamen latenten Raum abzubilden, was eine effiziente Integration mit einem einzelnen und gemeinsam vortrainierten Backbone ermöglicht. Durch die dynamische Anpassung der Sensorfusion anhand der tatsächlichen Bedingungen verbessert unser Modell erheblich Robustheit und Genauigkeit, insbesondere in schwierigen Szenarien. CAFuser erreicht den ersten Platz in den öffentlichen MUSES-Benchmarks mit 59,7 PQ für multimodale Panoramics und 78,2 mIoU für semantische Segmentierung und setzt außerdem einen neuen Stand der Technik bei DeLiVER. Der Quellcode ist öffentlich verfügbar unter: https://github.com/timbroed/CAFuser.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
CAFuser: Bedingungsbewusste Multimodale Fusion für eine robuste semantische Wahrnehmung von Fahrzeugszenen | Paper | HyperAI