SSL4EO-S12 : Un jeu de données à grande échelle, multi-modale et multi-temporelle pour l'apprentissage auto-supervisé en observation de la Terre

La pré-formation auto-supervisée présente un potentiel important pour générer des représentations expressives sans annotation humaine. La plupart des méthodes de pré-formation en observation de la Terre (OT) s'appuient sur ImageNet ou sur des jeux de données moyennement volumineux et étiquetés en télédétection (TD). Nous présentons ici un jeu de données non étiqueté en télédétection, SSL4EO-S12 (Self-Supervised Learning for Earth Observation – Sentinel-1/2), afin de constituer un corpus à grande échelle, global, multimodal et multisaisonnière d'images satellitaires issues des missions ESA Sentinel-1 et Sentinel-2. Pour les applications en observation de la Terre, nous démontrons que SSL4EO-S12 permet une réussite remarquable dans la pré-formation auto-supervisée pour plusieurs méthodes : MoCo-v2, DINO, MAE et data2vec. Les modèles ainsi obtenus atteignent ou dépassent, en termes de performance sur les tâches de descente, les résultats des approches supervisées. En outre, la pré-formation sur SSL4EO-S12 s'avère supérieure à celle réalisée sur les jeux de données existants. Le jeu de données, le code source associé ainsi que les modèles pré-entraînés sont rendus accessibles librement via https://github.com/zhu-xlab/SSL4EO-S12.