Entfernung von Wolken in der Fernerkundung mittels sequenzbasierten Diffusionsmodellen

erste SeiteEinstellungenArtikel-Reprints bestellenOffener Zugang – ArtikelWolkenentfernung in der Fernerkundung mittels sequenzbasierter Diffusionsmodellevon Xiaohu Zhao[ORCID] und Kebin Jia [ORCID]Fakultät für Informations-Technologie, Universität der Technologie Peking, Peking 100124, ChinaFür Korrespondenz zuständig.Remote Sens. 2023, 15(11), 2861; https://doi.org/10.3390/rs15112861Eingereicht: 11. April 2023 / Überarbeitet: 24. Mai 2023 / Akzeptiert: 26. Mai 2023 / Veröffentlicht: 31. Mai 2023(Dieser Artikel gehört zur Sonderausgabe: „Fortschritte im maschinellen Lernen für die Fernerkundung zur Verbesserung der raumzeitlichen Generalisierbarkeit“)Herunterladen | Abbildungen anzeigenBewertungsberichte | Versionen | HinweiseZusammenfassungDie überwiegende Mehrheit der optischen Beobachtungen, die mittels satellitengestützter optischer Sensoren erfasst werden, ist durch Wolken oder Dunst beeinträchtigt, was die weitergehende Nutzung der Erdbeobachtung erheblich einschränkt. Daher ist die Entwicklung einer idealen Methode zur Wolkenentfernung von großem Interesse. In diesem Artikel stellen wir ein neuartiges probabilistisches Generativmodell namens sequenzbasierte Diffusionsmodelle (SeqDMs) für die Aufgabe der Wolkenentfernung in der Fernerkundung vor. Das vorgeschlagene Verfahren besteht aus mehrmodalen Diffusionsmodellen (MmDMs) und einer sequenzbasierten Trainings- und Inferenzstrategie (SeqTIS). Insbesondere ist MmDMs ein neuartiges Diffusionsmodell, das den umgekehrten Prozess der Entrauschung in Diffusionsprobabilistischen Modellen (DDPMs) rekonstruiert, um zusätzliche Informationen aus Hilfsmodalitäten (z. B. Synthetic Aperture Radar, das gegenüber Wolkenstörungen robust ist) zu integrieren, um die Verteilungslernung der Hauptmodality (d. h. optische Satellitenbilder) zu unterstützen. Um zeitliche Informationen zu berücksichtigen, wurde SeqTIS entwickelt, um zeitliche Informationen über beliebige Längen sowohl der Haupt- als auch der Hilfsmodality-Eingabefolgen zu integrieren, ohne das Modell erneut zu trainieren. Mit Hilfe von MmDMs und SeqTIS verfügt SeqDMs über die Flexibilität, beliebige Längen von Eingabefolgen zu verarbeiten, wobei bereits mit nur einem oder zwei zusätzlichen Eingabebildern signifikante Verbesserungen erzielt werden und die Zeitkosten für das erneute Training erheblich reduziert werden. Wir evaluieren unsere Methode anhand eines öffentlichen Echtwelt-Datensatzes, SEN12MS-CR-TS, für eine mehrmodale und mehrzeitliche Aufgabe der Wolkenentfernung. Unsere umfangreichen Experimente und Ablationsstudien belegen die Überlegenheit des vorgeschlagenen Ansatzes hinsichtlich der Qualität der rekonstruierten Bilder sowie der Flexibilität bei der Behandlung von Eingabefolgen beliebiger Länge gegenüber mehreren state-of-the-art-Methoden zur Wolkenentfernung.