Durch Nebel hindurchsehen, ohne Nebel zu sehen: Tiefgangmultimodale Sensorfusion in unbekannten ungünstigen Wetterbedingungen

Die Fusion multimodaler Sensordatenströme, wie Kamera-, Lidar- und Radar-Messungen, spielt eine entscheidende Rolle bei der Objekterkennung für autonome Fahrzeuge, die ihre Entscheidungsfindung auf diese Eingaben basieren. Obwohl bestehende Methoden redundante Informationen in guten Umgebungsbedingungen nutzen können, versagen sie in ungünstigem Wetter, wo die Sensordatenströme asymmetrisch verzerrt werden können. Diese seltenen „Edge-Cases“ sind in den verfügbaren Datensätzen nicht vertreten, und existierende Fusion-Architekturen sind nicht darauf ausgelegt, sie zu behandeln. Um dieser Herausforderung zu begegnen, präsentieren wir einen neuen multimodalen Datensatz, der während über 10.000 km Fahrt in Nord-Europa erworben wurde. Obwohl dieser Datensatz der erste große multimodale Datensatz unter ungünstigen Wetterbedingungen ist und 100.000 Labels für Lidar-, Kamera-, Radar- und gittergesteuerte NIR-Sensoren enthält, ermöglicht er kein Training, da extremes Wetter selten ist. Zu diesem Zweck stellen wir ein tiefes Fusion-Netzwerk vor, das eine robuste Fusion ohne großen Korpus von annotierten Trainingsdaten für alle asymmetrischen Verzerrungen ermöglicht. Wir weichen von der Fusionsmethode auf Vorschlagenebene ab und schlagen ein Single-Shot-Modell vor, das anpassungsfähig Features fusioniert, gesteuert durch die Messunsicherheit (measurement entropy). Wir validieren die vorgeschlagene Methode, die auf sauberen Daten trainiert wurde, an unserem umfangreichen Validationsdatensatz. Der Code und die Daten sind hier verfügbar: https://github.com/princeton-computational-imaging/SeeingThroughFog.