Modélisation conjointe spatio-temporelle pour la détection des changements sémantiques dans les images satellites

La détection de changement sémantique (SCD) désigne la tâche de détecter simultanément les zones modifiées et les catégories sémantiques (avant et après le changement) dans les images satellitaires (RSIs). Cette approche est plus significative que la détection binaire de changement (BCD), car elle permet une analyse détaillée des changements survenues dans les zones observées. Les travaux antérieurs ont établi les architectures à trois branches basées sur les réseaux de neurones convolutifs (CNN) comme paradigme de la SCD. Toutefois, il reste difficile d’exploiter efficacement les informations sémantiques lorsque le nombre d’échantillons de changement est limité. Dans ce travail, nous explorons une approche visant à modéliser conjointement les dépendances spatio-temporelles afin d’améliorer la précision de la SCD. Premièrement, nous proposons un modèle appelé Semantic Change Transformer (SCanFormer), conçu pour modéliser explicitement les transitions sémantiques « d’un état à un autre » entre deux images satellitaires temporellement distinctes. Ensuite, nous introduisons un schéma d’apprentissage sémantique qui exploite des contraintes spatio-temporelles cohérentes avec la tâche de SCD, afin de guider l’apprentissage des changements sémantiques. Le réseau résultant (SCanNet) surpasse significativement la méthode de référence en termes de détection des changements sémantiques critiques ainsi que de cohérence sémantique dans les résultats obtenus pour les deux époques. Il atteint une performance de pointe (SOTA) sur deux jeux de données standard pour la SCD.