WaterScenes: Ein Multi-Task-4D-Radar-Kamera-Fusions-Datensatz und Benchmark für autonome Fahrsysteme auf Wasserflächen

Autonome Fahrt auf Wasserflächen spielt eine entscheidende Rolle bei der Durchführung gefährlicher und zeitaufwändiger Missionen, wie z. B. maritime Überwachung, Rettung von Überlebenden, Umweltüberwachung, Hydrographie-Kartierung und Abfallreinigung. In dieser Arbeit präsentieren wir WaterScenes, den ersten multi-task 4D-Radar-Kamera-Fusions-Datensatz für autonome Fahrt auf Wasserflächen. Mit einem 4D-Radar und einer monokularen Kamera ausgestattet, bietet unser unbemanntes Oberflächenfahrzeug (USV) wetterunabhängige Lösungen zur Erfassung objektbezogener Informationen, darunter Farbe, Form, Textur, Entfernung, Geschwindigkeit, Azimut und Elevationswinkel. Im Fokus stehen typische statische und dynamische Objekte auf Wasserflächen, wobei wir die Kamerabilder pixelgenau und die Radar-Punktwolken punktgenau annotieren. Neben grundlegenden Perzeptionsaufgaben wie Objekterkennung, Instance-Segmentation und Semantische Segmentation stellen wir zudem Annotationen für Free-Space-Segmentation und Waterline-Segmentation bereit. Unter Nutzung des multi-task- und multimodalen Datensatzes führen wir Benchmark-Experimente sowohl für die einzelnen Modalitäten (Radar und Kamera) als auch für die fusionierten Modalitäten durch. Die experimentellen Ergebnisse zeigen, dass die Fusion von 4D-Radar und Kamera die Genauigkeit und Robustheit der Perzeption auf Wasserflächen erheblich verbessert, insbesondere unter ungünstigen Licht- und Wetterbedingungen. Der WaterScenes-Datensatz ist öffentlich unter https://waterscenes.github.io verfügbar.