HyperAIHyperAI

Command Palette

Search for a command to run...

Durch Nebel hindurchsehen, ohne Nebel zu sehen: Tiefgangmultimodale Sensorfusion in unbekannten ungünstigen Wetterbedingungen

Mario Bijelic Tobias Gruber Fahim Mannan Florian Kraus Werner Ritter Klaus Dietmayer Felix Heide

Zusammenfassung

Die Fusion multimodaler Sensordatenströme, wie Kamera-, Lidar- und Radar-Messungen, spielt eine entscheidende Rolle bei der Objekterkennung für autonome Fahrzeuge, die ihre Entscheidungsfindung auf diese Eingaben basieren. Obwohl bestehende Methoden redundante Informationen in guten Umgebungsbedingungen nutzen können, versagen sie in ungünstigem Wetter, wo die Sensordatenströme asymmetrisch verzerrt werden können. Diese seltenen „Edge-Cases“ sind in den verfügbaren Datensätzen nicht vertreten, und existierende Fusion-Architekturen sind nicht darauf ausgelegt, sie zu behandeln. Um dieser Herausforderung zu begegnen, präsentieren wir einen neuen multimodalen Datensatz, der während über 10.000 km Fahrt in Nord-Europa erworben wurde. Obwohl dieser Datensatz der erste große multimodale Datensatz unter ungünstigen Wetterbedingungen ist und 100.000 Labels für Lidar-, Kamera-, Radar- und gittergesteuerte NIR-Sensoren enthält, ermöglicht er kein Training, da extremes Wetter selten ist. Zu diesem Zweck stellen wir ein tiefes Fusion-Netzwerk vor, das eine robuste Fusion ohne großen Korpus von annotierten Trainingsdaten für alle asymmetrischen Verzerrungen ermöglicht. Wir weichen von der Fusionsmethode auf Vorschlagenebene ab und schlagen ein Single-Shot-Modell vor, das anpassungsfähig Features fusioniert, gesteuert durch die Messunsicherheit (measurement entropy). Wir validieren die vorgeschlagene Methode, die auf sauberen Daten trainiert wurde, an unserem umfangreichen Validationsdatensatz. Der Code und die Daten sind hier verfügbar: https://github.com/princeton-computational-imaging/SeeingThroughFog.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Durch Nebel hindurchsehen, ohne Nebel zu sehen: Tiefgangmultimodale Sensorfusion in unbekannten ungünstigen Wetterbedingungen | Paper | HyperAI