Suppression de la couche nuageuse sur les images satellites avec des réseaux adversariaux génératifs conditionnels multispectraux

Dans cet article, nous proposons une méthode pour l'élimination des nuages à partir d'images satellites RGB en lumière visible en étendant les réseaux de génération adversariaux conditionnels (cGANs) des images RGB aux images multispectrales. Les images satellites sont largement utilisées à diverses fins, telles que la surveillance de l'environnement naturel (pollution, forêts ou rivières), l'amélioration des transports et la réponse rapide aux catastrophes. Cependant, l'obscurité causée par les nuages rend instable la surveillance de la situation au sol avec une caméra en lumière visible. Afin de réduire les effets des nuages, des images capturées avec une longueur d'onde plus longue sont introduites. Le radar à synthèse d'ouverture (SAR) est un exemple qui améliore la visibilité même en présence de nuages. D'autre part, la résolution spatiale diminue lorsque la longueur d'onde augmente. De plus, les images capturées avec des longueurs d'onde plus longues diffèrent considérablement en apparence de celles capturées en lumière visible. Par conséquent, nous proposons un réseau capable d'éliminer les nuages et de générer des images en lumière visible à partir des images multispectrales fournies en entrée. Ceci est réalisé en étendant les canaux d'entrée des cGANs pour qu'ils soient compatibles avec les images multispectrales. Les réseaux sont formés pour produire des images proches de la vérité terrain en utilisant comme entrée des images synthétisées avec des nuages superposés sur la vérité terrain. Dans le jeu de données disponible, la proportion d'images de forêt ou de mer est très élevée, ce qui introduira un biais dans le jeu de données d'entraînement si un échantillonnage uniforme est effectué à partir du jeu de données original. Ainsi, nous utilisons l'embedding stochastique des voisins distribués t (t-SNE) pour améliorer le problème de biais dans le jeu de données d'entraînement. Enfin, nous confirmons la faisabilité du réseau proposé sur un jeu de données comprenant quatre bandes d'images, dont trois bandes en lumière visible et une bande infrarouge proche (NIR).