基于多光谱条件生成对抗网络的卫星影像薄云去除

本文提出了一种通过扩展条件生成对抗网络（cGANs）从RGB图像到多光谱图像的方法来去除可见光RGB卫星图像中的云层。卫星图像已被广泛应用于多种用途，如自然环境监测（污染、森林或河流）、交通改善以及灾害应急响应。然而，云层造成的遮挡使得利用可见光相机监测地面情况变得不稳定。为了减少云层的影响，引入了长波段捕捉的图像。合成孔径雷达（SAR）就是一个例子，即使在有云的情况下也能提高能见度。另一方面，随着波长的增加，空间分辨率会降低。此外，长波段捕捉的图像在外形上与可见光图像存在显著差异。因此，我们提出了一种可以从输入的多光谱图像中去除云层并生成可见光图像的网络。这是通过扩展cGANs的输入通道以适应多光谱图像来实现的。网络通过使用带有云层的真实地面图像合成的图像作为输入进行训练，以输出接近真实地面的图像。在可用的数据集中，森林或海洋的图像比例非常高，如果从原始数据集中均匀采样，则会在训练数据集中引入偏差。因此，我们利用t-分布随机邻域嵌入（t-SNE）方法来解决训练数据集中的偏差问题。最后，我们在包含三个可见光波段和一个近红外（NIR）波段的四波段图像数据集上验证了所提出的网络的有效性。