Entfernung von Wolken durch Fusion von hochaufgelösten optischen und SAR-Bildern mittels generativer adversarischer Netzwerke

Die Existenz von Wolken ist einer der Hauptfaktoren, die zu fehlenden Informationen in optischen Fernerkundungsbildern führen und deren weitere Anwendung für die Erdbefliegung einschränken. Daher ist die Rekonstruktion der durch Wolken verursachten Informationslücken von großer Bedeutung. Ausgehend von der Bild-zu-Bild-Übersetzung basierend auf einem Faltungsneuralen-Netzwerk-Modell und dem Konzept der heterogenen Informationsfusion stellen wir in diesem Artikel eine neuartige Methode zur Wolkenentfernung vor. Der Ansatz lässt sich grob in zwei Schritte unterteilen: Im ersten Schritt übersetzt ein speziell entworfenes Faltungsneuronales Netzwerk (CNN) SAR-Bilder (Synthetic Aperture Radar) auf objektbasierte Weise in simulierten optische Bilder. Im zweiten Schritt wird das simuliert optische Bild zusammen mit dem SAR-Bild und dem durch Wolken beschädigten optischen Bild mittels eines generativen adversarialen Netzwerks (GAN) mit einer speziellen Verlustfunktion zur Rekonstruktion des beschädigten Bereichs fusioniert. Zwischen den beiden Schritten werden Kontrast und Helligkeit des simulierten optischen Bildes zufällig verändert, um die Robustheit des Modells zu erhöhen. Zwei Simulations- und eine Echt-Daten-Experimente wurden durchgeführt, um die Wirksamkeit des vorgeschlagenen Ansatzes an Sentinel-1/2-, GF-2/3- sowie Luftbild-SAR/optische Datensätze zu bestätigen. Die Ergebnisse zeigen, dass die vorgeschlagene Methode gegenüber aktuellen State-of-the-Art-Algorithmen, die ebenfalls SAR-Daten als Hilfsdaten nutzen, überlegen ist.