Modèles d’attention temporelle multimodaux pour la cartographie des cultures à partir de séries temporelles satellitales

Les séries temporelles de satellites optiques et radar sont complémentaires : les images optiques contiennent une information spectrale riche, tandis que le radar C-Bande capte des informations géométriques utiles et reste insensible aux nuages. Inspirés par les récents succès des méthodes basées sur l’attention temporelle dans diverses tâches de cartographie des cultures, nous proposons d’étudier comment ces modèles peuvent être adaptés pour fonctionner sur plusieurs modalités. Nous mettons en œuvre et évaluons plusieurs schémas de fusion, incluant une nouvelle approche ainsi que des ajustements simples du processus d’entraînement, permettant d’améliorer significativement les performances et l’efficacité avec une complexité ajoutée négligeable. Nous montrons que la plupart des schémas de fusion présentent des avantages et des inconvénients, les rendant pertinents pour des contextes spécifiques. Nous évaluons ensuite les bénéfices de la multimodalité sur plusieurs tâches : classification de parcelles, segmentation au niveau des pixels et segmentation panoptique de parcelles. Nous démontrons que, en exploitant à la fois les séries temporelles optiques et radar, les modèles basés sur l’attention temporelle multimodaux surpassent les modèles monocanal dans les performances et la résilience aux conditions nuageuses. Pour mener ces expériences, nous enrichissons le jeu de données PASTIS avec des séries temporelles d’images radar alignées spatialement. Le jeu de données résultant, PASTIS-R, constitue le premier ensemble de données à grande échelle, multimodal, accessible librement, dédié aux séries temporelles satellitaires, doté d’annotations sémantiques et d’annotations d’instances.