HyperAIHyperAI

Command Palette

Search for a command to run...

Modèles d’attention temporelle multimodaux pour la cartographie des cultures à partir de séries temporelles satellitales

Vivien Sainte Fare Garnot Loic Landrieu Nesrine Chehata

Résumé

Les séries temporelles de satellites optiques et radar sont complémentaires : les images optiques contiennent une information spectrale riche, tandis que le radar C-Bande capte des informations géométriques utiles et reste insensible aux nuages. Inspirés par les récents succès des méthodes basées sur l’attention temporelle dans diverses tâches de cartographie des cultures, nous proposons d’étudier comment ces modèles peuvent être adaptés pour fonctionner sur plusieurs modalités. Nous mettons en œuvre et évaluons plusieurs schémas de fusion, incluant une nouvelle approche ainsi que des ajustements simples du processus d’entraînement, permettant d’améliorer significativement les performances et l’efficacité avec une complexité ajoutée négligeable. Nous montrons que la plupart des schémas de fusion présentent des avantages et des inconvénients, les rendant pertinents pour des contextes spécifiques. Nous évaluons ensuite les bénéfices de la multimodalité sur plusieurs tâches : classification de parcelles, segmentation au niveau des pixels et segmentation panoptique de parcelles. Nous démontrons que, en exploitant à la fois les séries temporelles optiques et radar, les modèles basés sur l’attention temporelle multimodaux surpassent les modèles monocanal dans les performances et la résilience aux conditions nuageuses. Pour mener ces expériences, nous enrichissons le jeu de données PASTIS avec des séries temporelles d’images radar alignées spatialement. Le jeu de données résultant, PASTIS-R, constitue le premier ensemble de données à grande échelle, multimodal, accessible librement, dédié aux séries temporelles satellitaires, doté d’annotations sémantiques et d’annotations d’instances.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp