Contraste saisonnier : pré-entraînement non supervisé à partir de données de télédétection non curatées

La télédétection et la surveillance automatique de la Terre sont essentielles pour relever des défis à l’échelle mondiale tels que la prévention des catastrophes, la surveillance de l’usage des sols ou la lutte contre le changement climatique. Bien qu’un volume considérable de données de télédétection soit disponible, la majeure partie reste non étiquetée, rendant ainsi son utilisation difficile pour les algorithmes d’apprentissage supervisé. Les approches d’apprentissage par transfert permettent de réduire les exigences en données des algorithmes d’apprentissage profond. Toutefois, la plupart de ces méthodes sont pré-entraînées sur ImageNet, et leur généralisation aux images de télédétection n’est pas garantie en raison de l’écart de domaine. Dans ce travail, nous proposons SeCo (Seasonal Contrast), un pipeline efficace visant à exploiter les données non étiquetées pour un pré-entraînement in-domain des représentations en télédétection. Le pipeline SeCo se compose de deux composants. Premièrement, une procédure rigoureuse permettant de rassembler de grandes bases de données non étiquetées et non curatrices, comprenant des images provenant de multiples lieux terrestres à différentes dates. Deuxièmement, un algorithme d’apprentissage auto-supervisé qui exploite l’invariance temporelle et spatiale pour apprendre des représentations transférables adaptées aux applications de télédétection. Nous démontrons empiriquement que les modèles entraînés avec SeCo surpassent non seulement leurs homologues pré-entraînés sur ImageNet, mais aussi les méthodes d’apprentissage auto-supervisé les plus avancées sur plusieurs tâches de suivi. Les jeux de données et modèles associés à SeCo seront rendus publics afin de favoriser l’apprentissage par transfert et d’accélérer les progrès dans les applications de télédétection.