Sur La Base De 2 500 Kilomètres Carrés De Données Réelles, L'équipe De L'université Normale De Pékin a Proposé Le Modèle StarFusion Pour Obtenir Une Prédiction D'images À Haute Résolution Spatiale.

Portée par la vague de la science et de la technologie, l’agriculture traditionnelle subit une transformation intelligente.En tant qu'« yeux et oreilles » de l'agriculture moderne, la télédétection agricole collecte des données de télédétection à partir de plateformes telles que les satellites et les drones, et est largement utilisée pour surveiller les conditions de croissance des cultures, les changements d'utilisation et de couverture des terres, les conditions de ravageurs et de maladies, la gestion des ressources en eau et l'évolution de l'environnement agricole.La télédétection agricole peut fournir aux décideurs des informations en temps réel et approfondies, garantissant l’exactitude des informations et la prévoyance des décisions.

Cependant, l’application des données de télédétection dans l’agriculture nécessite généralement une haute résolution spatiale (HSR) et des observations fréquentes. En raison de facteurs tels que la période de revisite des images satellites optiques et la contamination des nuages, la capacité du satellite à surveiller la croissance des cultures est souvent gravement affectée.

Afin d'obtenir des images composites à haute résolution spatiale et temporelle, de nombreuses méthodes de fusion spatio-temporelle ont été développées, mais les méthodes existantes se concentrent principalement sur la fusion de données satellitaires à faible et moyenne résolution spatiale en termes de développement et de vérification de modèles. Lorsqu'il s'agit de fusionner des images à résolution spatiale moyenne et élevée, leur applicabilité est toujours confrontée à divers défis.

Pour résoudre ces problèmes,L'équipe de Chen Jin du Laboratoire d'État des processus de surface terrestre et de l'écologie des ressources de l'Université normale de Pékin a proposé un modèle d'architecture de fusion à découplage spatio-temporel à double flux appelé StarFusion.Ce modèle combine la méthode STF traditionnelle avec l'apprentissage en profondeur, ce qui peut surmonter le problème selon lequel la plupart des algorithmes d'apprentissage en profondeur existants nécessitent des images de séries chronologiques HSR pour la formation et réaliser pleinement la prédiction d'images à haute résolution spatiale.

Points saillants de la recherche :

* StarFusion fusionne les données des satellites Gaofen-1 et Sentinel-2 pour générer des images à haute résolution temporelle et spatiale

* StarFusion maintient une précision de fusion élevée et de bons détails spatiaux en combinant une méthode de super-résolution basée sur l'apprentissage profond avec un modèle de régression des moindres carrés partiels et en utilisant des fonctions de perte pondérées par les bords et les couleurs.

* Le modèle StarFusion a montré de meilleures performances globales et une meilleure transférabilité temporelle que les méthodes de fusion spatio-temporelles traditionnelles et les méthodes basées sur l'apprentissage profond dans 3 lieux expérimentaux différents

Adresse du document :

https://doi.org/10.34133/remotesensing.0159

Adresse de téléchargement du jeu de données :
https://go.hyper.ai/LGmkW

Le projet open source « awesome-ai4s » rassemble plus de 100 interprétations d'articles AI4S et fournit des ensembles de données et des outils massifs :

https://github.com/hyperai/awesome-ai4s

Ensemble de données : Basé sur deux comtés du Shandong, utilisation intégrée des données satellites Gaofen-1 et Sentinel-2

L’étude a conçu des expériences d’évaluation complètes utilisant des ensembles de données provenant des satellites Gaofen-1 et Sentinel-2, chacun couvrant la même zone géographique.

* Lieu d'étude

L'étude a été menée dans les comtés de Feixian et Yuncheng de la province du Shandong, couvrant une superficie d'environ 2 567 kilomètres carrés avec une variété de types de couverture terrestre. Afin d’assurer la diversité des paysages, l’étude a identifié trois sous-régions comme sites expérimentaux. Ces régions sont un mélange de terres agricoles, de plans d’eau, de routes et de bâtiments, et l’hétérogénéité du paysage au sein de la région a également montré des différences évidentes.

* Prétraitement des données

Comme le montre le tableau ci-dessous, cette étude utilise principalement le satellite Gaofen-1 pour produire des images relativement claires avec une résolution de 2 mètres, et utilise le satellite Sentinel-2 pour produire des images relativement grossières avec une résolution de 10 mètres. L’étude a ensuite aligné et géorectifié les images Sentinel-2 pour qu’elles correspondent aux données Gaofen-1 à une résolution spatiale de 2 mètres.

Afin de coordonner les caractéristiques spectrales de Gaofen-1 et Sentinel-2, cette étude a utilisé un modèle de régression linéaire, prenant chaque bande de données Sentinel comme variable dépendante et la bande correspondante de données Gaofen-1 comme variable indépendante, a construit un modèle de régression univarié, puis a appliqué la pente et l'interception du modèle construit à chaque pixel de l'image Gaofen-1 dans chaque bande. Ce processus d'ajustement garantit que l'image Gaofen-1 convertie reflète étroitement la réponse spectrale de Sentinel-2, réduisant ainsi efficacement l'inadéquation spectrale entre elles.

StarFusion : intégration de modèles SRGAN et PLSR, complétée par la fonction de pondération ECW

Comme le montre la figure ci-dessous, StarFusion fusionne les données Gaofen-1 acquises à la date de base (T1) avec les données Sentinel-2 acquises à la date de base (T1) et à la date de prévision (T2).Sur la base des données collectées, StarFusion intègre les deux modèles de fusion SRGAN (Grad-SRGAN-STF) et PLSR dans une architecture de fusion découplée spatio-temporelle à deux flux, ce qui peut faire ressortir les avantages des deux modèles.

Dans la partie du modèle de régression des moindres carrés partiels (PLSR), cette étude a établi un modèle de relation de régression multivariée avec des degrés de liberté plus élevés basés sur l'hypothèse d'invariance d'échelle, prédisant ainsi plus précisément les changements temporels. Compte tenu de la résolution spatiale inférieure des images Sentinel-2 par rapport aux images Gaofen-1, cette étude a également conçu un modèle SRGAN de carte de gradient (Grad-SRGAN) pour gérer la tâche de réduction d'échelle des images grossières aux images fines.

De plus, cette étude a également proposé un modèle SRGAN-STF avec graphe de gradient (Grad-SRGAN-STF).Comme le montre la figure ci-dessous, Grad-SRGAN-STF est basé sur les performances de transfert temporel et se compose principalement de trois parties :

1) Générateur : Il se compose de deux paramètres de rugosité de surface parallèles SR (surface roughness), l'un pour collecter l'image de réflexion rugueuse (Ref-SR) et l'autre pour collecter l'image de gradient rugueuse (Grad-SR).

2) Discriminateur : Deux discriminateurs indépendants DRef et DGrad sont conçus pour déterminer si l'image de réflexion générée et la carte de gradient sont respectivement réelles ou falsifiées.

3) Fonction de perte : Elle se compose de deux parties : la perte de contenu et la perte conflictuelle. La fonction de perte du générateur Ref-SR et Grad-SR est la somme pondérée de la perte de contenu et de la perte adverse. Parmi eux, la perte de contenu peut être utilisée pour évaluer la différence entre l'image prédite et l'image de référence, et la perte adverse peut mesurer la probabilité que l'image générée soit reconnue par le discriminateur comme une image réelle.

Plus important encore,L’étude a également conçu une nouvelle fonction de pondération appelée poids des bords et des couleurs (ECW). ECW combine la puissante capacité de récupération des détails spatiaux de la méthode SRGAN et l'estimation précise de la variation temporelle de la méthode PLSR, et peut fournir des prédictions plus précises.

Résultats de la recherche : StarFusion est le plus performant, Grad-SRGAN est celui qui contribue le plus

Expérience I : StarFusion présente la meilleure fidélité des détails spatiaux par rapport aux autres algorithmes

Pour évaluer l'efficacité de StarFusion, cette étude a comparé StarFusion à d'autres algorithmes représentatifs (STARFM, FSDAF, Fit-FC, FIRST et SRGAN) basés sur des images Gaofen-1 et Sentinel-2 prises à 2 dates différentes dans 3 sous-zones, en se concentrant sur des facteurs tels que la précision de la génération d'images prédite et les détails spatiaux.

Les résultats sont présentés dans la figure ci-dessous.L'image prédite par la méthode StarFusion (Figure G ci-dessous) présente une similitude significative avec l'image de référence (Figure A ci-dessous), démontrant une fidélité supérieure des détails spatiaux.En revanche, les images générées par STARFM, FSDAF, Fit-FC, FIRST et SRGAN montrent toutes des zones floues et les limites du champ ne sont pas suffisamment claires.

De plus, le diagramme APA suivant montre également queLa méthode StarFusion possède une forte capacité de transfert spatial sans perte significative de précision ou de détails spatiaux.Il convient de noter que StarFusion se situe visuellement à la limite de la gamme « bonne », mais ne tombe pas dans cette gamme, ce qui suggère que ses performances peuvent encore être améliorées à l’avenir.

Expérience II : StarFusion prédit la meilleure qualité d'image sur une longue période

Étant donné que la sous-zone 3 présente des caractéristiques paysagères complexes, cette étude prévoit d’utiliser des images de différentes dates de base (T1, T2, T3) de la zone et leurs cartes de gradient pour prédire des images haute résolution de T4. Dans le même temps, l’étude a également formé les modèles GradSRGAN (Grad-SRGAN-Multi) et StarFusion (StarFusion-Multi) et comparé leurs performances.

L'étude a révélé que lorsque la date de prédiction est proche de la date de référence, toutes les méthodes de fusion fonctionnent bien, mais lorsque la durée augmente, la qualité d'image de STARFM, FSDAF, Fit-FC, FIRST et SRGAN diminue, et un flou et une distorsion des couleurs se produisent. StarFusion conserve de bons détails spatiaux et une bonne fidélité des couleurs lors de la saisie de paires d'images avec des dates de base différentes, surpassant les cinq autres méthodes.

aussi,StarFusion-Multi et Grad-SRGAN-Multi fonctionnent mieux lorsqu'ils sont entraînés avec plusieurs paires d'images qu'avec une seule paire d'images, et StarFusion-Multi surpasse systématiquement Grad-SRGAN-Multi en termes de RMSE et de marge de Roberts.

Expérience III : Grad-SRGAN contribue le plus à StarFusion

Enfin, cette étude a également mené une étude d'ablation dans la sous-région 1 pour démontrer la contribution de chaque partie de la méthode StarFusion proposée, y compris Grad-SRGAN, PLSR et ECW.Les résultats montrent que l’introduction des fonctions Grad-SRGAN, PLSR et ECW contribue à améliorer la précision de la fusion. En termes de contribution, l'introduction de Grad-SRGAN a la plus grande contribution, suivie de la fonction de pondération ECW et du PLSR.

L'IA aide la télédétection agricole à entrer dans l'ère de la conduite intelligente

Avec le développement continu de la technologie de l’IA, l’agriculture numérique devient progressivement une nouvelle tendance dans le développement agricole. L’industrie de la télédétection par satellite agricole traverse une période critique de transition progressive du modèle traditionnel dépendant des données vers un modèle intelligent avec l’IA comme cœur. De plus en plus d’entreprises se déploient et concourent dans ce domaine.

Par exemple,Les sociétés d’intelligence artificielle représentées par SenseTime ont utilisé leurs modèles de base à grande échelle développés indépendamment pourLe grand modèle de télédétection IA « SenseTime Land » a été lancé pour le domaine de la télédétection, réalisant l'automatisation, l'intelligence et la normalisation des parcelles de terres arables, l'identification des cultures et l'identification des éléments non céréaliers. aussi,Des géants de la technologie tels que Huawei ont utilisé leur Ascend AI pour aider l'Université de Wuhan à créer LuoJiaNet, un cadre spécial pour l'interprétation intelligente des images de télédétection, et LuoJiaSET, une bibliothèque d'échantillons de télédétection.Accélérer l’interprétation automatique des images de télédétection et permettre l’application généralisée de la technologie de télédétection intelligente dans des secteurs tels que l’agriculture et les ressources naturelles.

Dans le domaine académique, en s'appuyant sur le Laboratoire national clé de science de la télédétection créé conjointement par l'Institut des applications de la télédétection de l'Académie chinoise des sciences et l'Université normale de Pékin,Un grand nombre d’élites industrielles, dont l’auteur de cet article, le professeur Chen Jin, ont émergé dans mon pays et apportent progressivement des contributions importantes au développement et au progrès de la technologie de télédétection agricole.

Dès 1988, le laboratoire a mis en place le Système mondial de rapport rapide de télédétection agricole (Cropwatch). En s’appuyant sur des données de télédétection et d’observation au sol, le système peut évaluer de manière indépendante la croissance des cultures, le rendement et d’autres informations connexes à l’échelle nationale et mondiale. Grâce à la technologie de l'IA, le laboratoire a lancé un certain nombre de réalisations au cours de la dernière période, notamment une nouvelle méthode de télédétection tridimensionnelle optique des forêts à ultra-haute résolution basée sur l'algorithme AGAR, un système de surveillance par satellite des incendies de forêt et d'alerte précoce avec algorithme d'IA de télédétection, etc.

L’application de l’IA à la télédétection agricole améliore non seulement l’efficacité et la précision de la production agricole, mais fournit également un soutien technique solide au développement durable de l’agriculture. Il est prévisible que l’application de l’IA dans la télédétection agricole deviendra plus étendue, fournissant de plus en plus de solutions pour la surveillance des maladies et des ravageurs des plantes, l’évaluation des conditions de croissance et des rendements des cultures, la gestion efficace et l’optimisation de la production agricole, etc.

Enfin, je vous recommande une activité de partage académique !

La troisième diffusion en direct de Meet AI4S a invité Zhou Ziyi, chercheur postdoctoral à l'Institut des sciences naturelles de l'Université Jiao Tong de Shanghai et au Centre national de mathématiques appliquées de Shanghai. Cliquez ici pour prendre rendez-vous pour regarder la diffusion en direct !

https://hdxu.cn/6Bjom​hdxu.cn/6Bjom