Transformateurs pré-entraînés légers pour les séries temporelles en télédétection

Les méthodes d'apprentissage automatique appliquées aux données satellites ont une gamme d'applications pertinentes pour la société, mais les étiquettes utilisées pour entraîner les modèles peuvent être difficiles ou impossibles à obtenir. L'auto-supervision est une solution naturelle dans des contextes où les données étiquetées sont limitées, mais les modèles actuels d'auto-supervision pour les données satellites ne parviennent pas à tirer parti des caractéristiques de ces données, notamment de la dimension temporelle (qui est cruciale pour de nombreuses applications, comme le suivi de la croissance des cultures) et de la disponibilité des données provenant de nombreux capteurs complémentaires (ce qui peut améliorer considérablement les performances prédictives du modèle).Nous présentons Presto (le Transformateur Pré-entraîné en Télédétection), un modèle pré-entraîné sur des séries temporelles de pixels issues de la télédétection. En concevant Presto spécifiquement pour les données de télédétection, nous pouvons créer un modèle beaucoup plus petit mais tout aussi performant. Presto excelle dans une grande variété de tâches de télédétection réparties à l'échelle mondiale et offre des performances comparables à celles des modèles beaucoup plus volumineux tout en nécessitant bien moins de ressources informatiques. Presto peut être utilisé pour le transfert d'apprentissage ou comme extracteur de caractéristiques pour des modèles simples, permettant ainsi un déploiement efficace à grande échelle.