Filmy Cloud Removal in Satellitenbildern mit multispektralen bedingten Generativen Wettbewerbsnetzen

In dieser Arbeit schlagen wir eine Methode zur Entfernung von Wolken aus sichtbaren RGB-Satellitenbildern vor, indem wir bedingte Generative Adversarial Networks (cGANs) von RGB-Bildern auf multispектrale Bilder erweitern. Satellitenbilder werden bereits vielfältig für verschiedene Zwecke eingesetzt, wie etwa die Überwachung der natürlichen Umgebung (Verschmutzung, Wälder oder Flüsse), den Verbesserung des Verkehrs und die schnelle Katastrophenschadensbewältigung. Allerdings führt die durch Wolken verursachte Verschleierung dazu, dass die Überwachung der Bodenbedingungen mit sichtbaren Kameras unzuverlässig wird. Um die Auswirkungen von Wolken zu reduzieren, werden Bilder mit längerer Wellenlänge eingeführt. Ein Beispiel dafür ist der synthetische Apertur-Radar (SAR), der die Sichtbarkeit auch bei vorhandenen Wolken verbessert. Andererseits nimmt die räumliche Auflösung mit zunehmender Wellenlänge ab. Darüber hinaus unterscheiden sich Bilder, die mit langer Wellenlänge aufgenommen wurden, erheblich in ihrem Erscheinungsbild von solchen, die im sichtbaren Lichtbereich entstanden sind. Deshalb schlagen wir ein Netzwerk vor, das Wolken entfernen und aus den als Eingabe genommenen multispектralen Bildern sichtbare Lichtbilder generieren kann. Dies wird erreicht, indem man die Eingangskanäle der cGANs erweitert, um sie für multispектrale Bilder geeignet zu machen. Die Netze werden trainiert, um Bilder zu erzeugen, die dem realen Bildmaterial nahekommen, wobei als Eingabe synthetisierte Bilder verwendet werden, die Wolken über dem realen Bildmaterial zeigen. Im verfügbaren Datensatz ist der Anteil von Bildern von Wäldern oder Meeren sehr hoch, was eine Verzerrung des Trainingsdatensatzes verursachen würde, wenn man ihn gleichverteilt aus dem ursprünglichen Datensatz entnehmen würde. Daher nutzen wir das t-verteilierte stochastische Nachbarschaftsembedding (t-SNE), um das Problem der Verzerrung im Trainingsdatensatz zu verbessern. Schließlich bestätigen wir die Machbarkeit des vorgeschlagenen Netzwerks an einem Datensatz mit vier Bandbildern, darunter drei sichtbare Lichtbänder und ein nahinfrarotes (NIR) Band.