SEN12MS-CR-TS: Ein Fernerkundungsdatensatz für multimodale multitemporale Wolkenentfernung

Etwa die Hälfte aller optischen Beobachtungen, die über satellitengebundene Systeme gesammelt werden, wird von Nebel oder Wolken beeinflusst. Folglich wirkt sich die Wolkenbedeckung auf die Fähigkeiten der Fernerkundungspraktiker aus, unser Planet kontinuierlich und nahtlos zu beobachten. Diese Arbeit greift die Herausforderung der Rekonstruktion optischer Satellitenbilder und der Entfernung von Wolken auf, indem sie einen neuen multimodalen und multitemporalen Datensatz namens SEN12MS-CR-TS vorschlägt. Wir präsentieren zwei Modelle, die die Vorteile und Anwendungsfälle von SEN12MS-CR-TS hervorheben: Erstens ein multimodales multitemporales 3D-Faltungsneuronales Netzwerk (3D-Convolution Neural Network), das ein wolkenfreies Bild aus einer Sequenz von wolkenverhangenen optischen und Radarbildern vorhersagt. Zweitens ein Sequenz-zu-Sequenz-Übersetzungsmodell (sequence-to-sequence translation model), das eine wolkenfreie Zeitreihe aus einer wolkenverhangenen Zeitreihe vorhersagt. Beide Ansätze werden experimentell evaluiert, wobei ihre jeweiligen Modelle auf SEN12MS-CR-TS trainiert und getestet wurden. Die durchgeführten Experimente unterstreichen den Beitrag unseres Datensatzes zur Fernerkundungsgemeinschaft sowie die Vorteile multimodaler und multitemporaler Informationen zur Rekonstruktion verrauschter Daten. Unser Datensatz ist unter https://patrickTUM.github.io/cloud_removal verfügbar.