Environ la moitié de toutes les observations optiques collectées par des satellites en orbite sont affectées par la brume ou les nuages. Par conséquent, la couverture nuageuse impacte les capacités des praticiens de la télédétection à surveiller notre planète de manière continue et sans rupture. Cette étude aborde le défi de la reconstruction d'images satellites optiques et de l'élimination des nuages en proposant un nouveau jeu de données multi-modaux et multi-temporel appelé SEN12MS-CR-TS. Nous présentons deux modèles mettant en évidence les avantages et les cas d'utilisation de SEN12MS-CR-TS : Premièrement, un réseau neuronal convolutif 3D multi-modaux et multi-temporel qui prédit une image sans nuages à partir d'une séquence d'images optiques et radar nuageuses. Deuxièmement, un modèle de traduction séquence-à-séquence qui prédit une série temporelle sans nuages à partir d'une série temporelle couverte de nuages. Les deux approches sont évaluées expérimentalement, leurs modèles respectifs étant formés et testés sur SEN12MS-CR-TS. Les expériences menées soulignent la contribution de notre jeu de données à la communauté de la télédétection ainsi que les avantages des informations multi-modales et multi-temporelles pour reconstruire des informations bruitées. Notre jeu de données est disponible à l'adresse suivante : https://patrickTUM.github.io/cloud_removal