Segmentation panoptique de séries temporelles d'images satellites avec des réseaux de neurones à attention temporelle convolutive

Un accès sans précédent aux images satellites multi-temporelles a ouvert de nouvelles perspectives pour diverses tâches d'observation terrestre. Parmi celles-ci, la segmentation panoramique précise au pixel des parcelles agricoles a des implications économiques et environnementales majeures. Bien que les chercheurs aient exploré ce problème pour des images individuelles, nous soutenons que les motifs temporels complexes de la phénologie des cultures sont mieux abordés avec des séquences temporelles d'images. Dans cet article, nous présentons la première méthode mono-étape et intégrée pour la segmentation panoramique des Séries Temporelles d'Images Satellites (SITS). Ce module peut être combiné avec notre réseau de codage de séquences d'images novateur, qui repose sur l'auto-attention temporelle pour extraire des caractéristiques spatio-temporelles riches et adaptatives à plusieurs échelles. Nous introduisons également PASTIS, le premier ensemble de données SITS accessible librement avec des annotations panoramiques. Nous démontrons la supériorité de notre encodeur pour le segmentage sémantique par rapport à plusieurs architectures concurrentes, et établissons le premier état de l'art du segmentage panoramique des SITS. Notre implémentation et PASTIS sont disponibles publiquement.