大约一半通过太空卫星收集的光学观测数据受到雾霾或云层的影响。因此，云层覆盖对地球的连续无缝遥感监测能力产生了影响。本研究提出了一个名为SEN12MS-CR-TS的新多模态和多时相数据集，以应对光学卫星图像重建和去云的挑战。我们提出了两种模型，展示了SEN12MS-CR-TS的优势和应用场景：首先，一种多模态多时相3D卷积神经网络（3D-Convolution Neural Network），该模型可以从一系列含云的光学和雷达图像中预测出无云图像。其次，一种序列到序列转换模型（sequence-to-sequence translation model），该模型可以从含云的时间序列中预测出无云的时间序列。这两种方法均通过实验进行了评估，其相应的模型在SEN12MS-CR-TS数据集上进行了训练和测试。所进行的实验突显了我们的数据集对遥感社区的贡献以及多模态和多时相信息在重建噪声信息中的优势。我们的数据集可在以下网址获取：https://patrickTUM.github.io/cloud_removal