Basierend Auf 2.500 Quadratkilometern Realer Daten Schlug Das Team Der Beijing Normal University Das StarFusion-Modell Vor, Um Eine Bildvorhersage Mit Hoher Räumlicher Auflösung Zu Erreichen
Angetrieben durch die Welle der Wissenschaft und Technologie erlebt die traditionelle Landwirtschaft einen intelligenten Wandel.Als „Augen und Ohren“ der modernen Landwirtschaft sammelt die landwirtschaftliche Fernerkundung Fernerkundungsdaten von Plattformen wie Satelliten und Drohnen und wird häufig eingesetzt, um die Wachstumsbedingungen von Nutzpflanzen, Veränderungen bei Landnutzung und -bedeckung, Schädlings- und Krankheitsbefall, die Bewirtschaftung der Wasserressourcen und die Entwicklung der landwirtschaftlichen Umwelt zu überwachen.Durch Fernerkundung in der Landwirtschaft können Entscheidungsträger in Echtzeit umfassende Erkenntnisse gewinnen und so präzise Informationen und zukunftsweisende Entscheidungen gewährleisten.
Die Anwendung von Fernerkundungsdaten in der Landwirtschaft erfordert jedoch normalerweise eine hohe räumliche Auflösung (HSR) und häufige Beobachtungen. Aufgrund von Faktoren wie der Wiederholfrequenz optischer Satellitenbilder und der Wolkenverschmutzung ist die Fähigkeit des Satelliten, das Pflanzenwachstum zu überwachen, oft stark beeinträchtigt.
Um zusammengesetzte Bilder mit hoher räumlicher und zeitlicher Auflösung zu erhalten, wurden viele Methoden zur räumlich-zeitlichen Fusion entwickelt. Die bestehenden Methoden konzentrieren sich jedoch hauptsächlich auf die Fusion von Satellitendaten mit niedriger und mittlerer räumlicher Auflösung im Hinblick auf die Modellentwicklung und -überprüfung. Wenn es um die Fusion von Bildern mittlerer und hoher räumlicher Auflösung geht, ist ihre Anwendbarkeit noch mit verschiedenen Herausforderungen verbunden.
Um diese Probleme zu lösen,Das Team von Chen Jin vom State Key Laboratory of Earth Surface Processes and Resource Ecology der Beijing Normal University schlug ein duales, räumlich-zeitlich entkoppeltes Fusionsarchitekturmodell namens StarFusion vor.Dieses Modell kombiniert die traditionelle STF-Methode mit Deep Learning, wodurch das Problem überwunden werden kann, dass die meisten vorhandenen Deep-Learning-Algorithmen HSR-Zeitreihenbilder zum Training benötigen, und die Vorhersage von Bildern mit hoher räumlicher Auflösung vollständig realisiert werden kann.
Forschungshighlights:
* StarFusion kombiniert Gaofen-1- und Sentinel-2-Satellitendaten, um Bilder mit hoher zeitlicher und räumlicher Auflösung zu erzeugen
* StarFusion gewährleistet eine hohe Fusionsgenauigkeit und gute räumliche Details durch die Kombination einer auf Deep Learning basierenden Super-Resolution-Methode mit einem Partial-Least-Squares-Regressionsmodell und die Verwendung von kanten- und farbgewichteten Verlustfunktionen.
* Das StarFusion-Modell zeigte an drei verschiedenen Versuchsstandorten eine bessere Gesamtleistung und zeitliche Übertragbarkeit als herkömmliche räumlich-zeitliche Fusionsmethoden und Deep-Learning-basierte Methoden.
Papieradresse:
https://doi.org/10.34133/remotesensing.0159
Adresse zum Herunterladen des Datensatzes:
https://go.hyper.ai/LGmkW
Das Open-Source-Projekt „awesome-ai4s“ vereint mehr als 100 AI4S-Papierinterpretationen und stellt umfangreiche Datensätze und Tools bereit:
https://github.com/hyperai/awesome-ai4s
Datensatz: Basierend auf zwei Landkreisen in Shandong, integrierte Nutzung von Gaofen-1- und Sentinel-2-Satellitendaten
Im Rahmen der Studie wurden umfassende Evaluierungsexperimente unter Verwendung von Datensätzen der Satelliten Gaofen-1 und Sentinel-2 konzipiert, die jeweils dasselbe geografische Gebiet abdecken.
* Studienort
Die Studie wurde in den Kreisen Feixian und Yuncheng in der Provinz Shandong durchgeführt und umfasste eine Fläche von etwa 2.567 Quadratkilometern mit einer Vielzahl von Landbedeckungsarten. Um die Landschaftsvielfalt zu gewährleisten, wurden im Rahmen der Studie drei Unterregionen als Versuchsstandorte identifiziert. Diese Regionen sind eine Mischung aus Ackerland, Gewässern, Straßen und Gebäuden und auch die Heterogenität der Landschaft innerhalb der Region wies deutliche Unterschiede auf.
* Datenvorverarbeitung
Wie in der folgenden Tabelle gezeigt, verwendet diese Studie hauptsächlich den Satelliten Gaofen-1, um relativ klare Bilder mit einer Auflösung von 2 Metern zu erzeugen, und den Satelliten Sentinel-2, um relativ grobe Bilder mit einer Auflösung von 10 Metern zu erzeugen. Anschließend wurden im Rahmen der Studie die Sentinel-2-Bilder ausgerichtet und georeferenziert, um sie mit den Gaofen-1-Daten bei einer räumlichen Auflösung von 2 Metern abzugleichen.
Um die spektralen Eigenschaften von Gaofen-1 und Sentinel-2 zu koordinieren, wurde in dieser Studie ein lineares Regressionsmodell verwendet, wobei jedes Band der Sentinel-Daten als abhängige Variable und das entsprechende Band der Gaofen-1-Daten als unabhängige Variable verwendet wurde. Anschließend wurde ein univariates Regressionsmodell erstellt und anschließend die Steigung und der Achsenabschnitt des erstellten Modells auf jedes Pixel des Gaofen-1-Bildes in jedem Band angewendet. Dieser Anpassungsprozess stellt sicher, dass das konvertierte Gaofen-1-Bild die spektrale Reaktion von Sentinel-2 genau widerspiegelt und so die spektrale Nichtübereinstimmung zwischen ihnen effektiv reduziert.
StarFusion: Modellintegration von SRGAN und PLSR, ergänzt um ECW-Gewichtungsfunktion
Wie in der folgenden Abbildung dargestellt, kombiniert StarFusion die am Basisdatum (T1) erfassten Gaofen-1-Daten mit den am Basisdatum (T1) und dem Prognosedatum (T2) erfassten Sentinel-2-Daten.Basierend auf den gesammelten Daten integriert StarFusion die beiden Fusionsmodelle von SRGAN (Grad-SRGAN-STF) und PLSR in eine räumlich-zeitlich entkoppelte Fusionsarchitektur mit zwei Strömen, wodurch die Vorteile der beiden Modelle zum Vorschein kommen.
Im Teil des Partial-Least-Squares-Regressionsmodells (PLSR) wurde in dieser Studie ein multivariates Regressionsbeziehungsmodell mit höheren Freiheitsgraden basierend auf der Annahme der Skaleninvariante erstellt, wodurch zeitliche Änderungen genauer vorhergesagt werden können. Angesichts der geringeren räumlichen Auflösung der Sentinel-2-Bilder im Vergleich zu den Gaofen-1-Bildern wurde in dieser Studie auch ein Gradientenkarten-SRGAN-Modell (Grad-SRGAN) entwickelt, um die Aufgabe der Herunterskalierung von groben Bildern auf feine Bilder zu bewältigen.
Darüber hinaus wurde in dieser Studie auch ein SRGAN-STF-Modell mit Gradientengraphen (Grad-SRGAN-STF) vorgeschlagen.Wie in der folgenden Abbildung dargestellt, basiert Grad-SRGAN-STF auf der zeitlichen Übertragungsleistung und besteht hauptsächlich aus drei Teilen:
1) Generator: Er besteht aus zwei parallelen Oberflächenrauheitsparametern SR (Oberflächenrauheit), einer zum Erfassen des groben Reflexionsbildes (Ref-SR) und der andere zum Erfassen des groben Gradientenbildes (Grad-SR).
2) Diskriminator: Zwei unabhängige Diskriminatoren DRef und DGrad dienen dazu, zu bestimmen, ob das generierte Reflexionsbild und die Gradientenkarte echt oder gefälscht sind.
3) Verlustfunktion: Sie besteht aus zwei Teilen: Inhaltsverlust und Gegnerverlust. Die Verlustfunktion des Generators Ref-SR und Grad-SR ist die gewichtete Summe aus Inhaltsverlust und gegnerischem Verlust. Unter diesen kann der Inhaltsverlust verwendet werden, um den Unterschied zwischen dem vorhergesagten Bild und dem Referenzbild zu bewerten, und der gegnerische Verlust kann die Wahrscheinlichkeit messen, dass das generierte Bild vom Diskriminator als reales Bild erkannt wird.
Und was noch wichtiger ist:Im Rahmen der Studie wurde außerdem eine neue Gewichtsfunktion namens Edge and Color Weight (ECW) entwickelt. ECW kombiniert die leistungsstarke Fähigkeit zur räumlichen Detailwiederherstellung der SRGAN-Methode und die genaue zeitliche Variationsschätzung der PLSR-Methode und kann genauere Vorhersagen liefern.
Forschungsergebnisse: StarFusion schneidet am besten ab, Grad-SRGAN leistet den größten Beitrag
Experiment I: StarFusion hat im Vergleich zu anderen Algorithmen die beste räumliche Detailtreue
Um die Wirksamkeit von StarFusion zu bewerten, verglich diese Studie StarFusion mit anderen repräsentativen Algorithmen (STARFM, FSDAF, Fit-FC, FIRST und SRGAN) basierend auf Gaofen-1- und Sentinel-2-Bildern, die an zwei verschiedenen Tagen in drei Unterbereichen aufgenommen wurden, wobei der Schwerpunkt auf Faktoren wie der Genauigkeit der vorhergesagten Bildgenerierung und räumlichen Details lag.
Die Ergebnisse sind in der folgenden Abbildung dargestellt.Das mit der StarFusion-Methode vorhergesagte Bild (Abbildung G unten) weist eine erhebliche Ähnlichkeit mit dem Referenzbild (Abbildung A unten) auf und demonstriert eine höhere räumliche Detailtreue.Im Gegensatz dazu zeigen die von STARFM, FSDAF, Fit-FC, FIRST und SRGAN generierten Bilder alle einige unscharfe Bereiche und die Feldgrenzen sind nicht klar genug.
Darüber hinaus zeigt das folgende APA-Diagramm auch, dassDie StarFusion-Methode verfügt über eine starke räumliche Übertragungsfähigkeit ohne nennenswerten Verlust an Genauigkeit oder räumlichen Details.Es ist erwähnenswert, dass StarFusion optisch am Rande des „guten“ Bereichs liegt, aber nicht in diesen Bereich fällt, was darauf hindeutet, dass seine Leistung in Zukunft noch Raum für Verbesserungen bietet.
Experiment II: StarFusion prognostiziert die beste Bildqualität über einen langen Zeitraum
Da Unterbereich 3 komplexe Landschaftsmerkmale aufweist, ist in dieser Studie geplant, Bilder mit unterschiedlichen Basisdaten (T1, T2, T3) des Bereichs und deren Gradientenkarten zu verwenden, um hochauflösende Bilder von T4 vorherzusagen. Gleichzeitig trainierte die Studie auch die Modelle GradSRGAN (Grad-SRGAN-Multi) und StarFusion (StarFusion-Multi) und verglich ihre Leistung.
Die Studie ergab, dass alle Fusionsmethoden gut funktionieren, wenn das Vorhersagedatum nahe am Referenzdatum liegt. Bei zunehmender Zeitspanne nimmt jedoch die Bildqualität von STARFM, FSDAF, Fit-FC, FIRST und SRGAN ab und es kommt zu Unschärfe und Farbverzerrungen. StarFusion behält gute räumliche Details und Farbtreue bei, wenn Bildpaare mit unterschiedlichen Basisdaten eingegeben werden, und übertrifft damit die anderen fünf Methoden.
Auch,StarFusion-Multi und Grad-SRGAN-Multi schneiden beim Training mit mehreren Bildpaaren besser ab als beim Training mit einem einzelnen Paar, und StarFusion-Multi übertrifft Grad-SRGAN-Multi in Bezug auf RMSE und Roberts-Marge durchweg.
Experiment III: Grad-SRGAN trägt am meisten zu StarFusion bei
Schließlich wurde im Rahmen dieser Studie auch eine Ablationsstudie in Unterregion 1 durchgeführt, um den Beitrag jedes Teils der vorgeschlagenen StarFusion-Methode, einschließlich Grad-SRGAN, PLSR und ECW, zu demonstrieren.Die Ergebnisse zeigen, dass die Einführung der Funktionen Grad-SRGAN, PLSR und ECW dazu beiträgt, die Fusionsgenauigkeit zu verbessern. In Bezug auf ihren Beitrag leistet die Einführung von Grad-SRGAN den größten Beitrag, gefolgt von der ECW-Gewichtungsfunktion und PLSR.
KI verhilft landwirtschaftlicher Fernerkundung ins Zeitalter des intelligenten Fahrens
Mit der kontinuierlichen Weiterentwicklung der KI-Technologie entwickelt sich die digitale Landwirtschaft allmählich zu einem neuen Trend in der landwirtschaftlichen Entwicklung. Die Branche der landwirtschaftlichen Satellitenfernerkundung befindet sich in einer kritischen Phase der schrittweisen Umstellung vom traditionellen datenabhängigen Modell auf ein intelligent gesteuertes Modell mit KI als Kern. Immer mehr Unternehmen sind auf diesem Gebiet aktiv und konkurrieren dort.
Zum Beispiel,Die von SenseTime vertretenen Unternehmen für künstliche Intelligenz haben ihre unabhängig entwickelten groß angelegten Basismodelle genutzt, umDas KI-Fernerkundungs-Großmodell „SenseTime Land“ wurde für den Bereich der Fernerkundung eingeführt und ermöglicht die Automatisierung, Intelligenz und Normalisierung von Ackerlandparzellen, die Identifizierung von Nutzpflanzen und die Identifizierung von Nicht-Getreideelementen. Auch,Technologiegiganten wie Huawei nutzten ihre Ascend AI, um der Universität Wuhan beim Aufbau von LuoJiaNet zu helfen, einem speziellen Framework für die intelligente Interpretation von Fernerkundungsbildern, und LuoJiaSET, einer Fernerkundungsbeispielbibliothek.Beschleunigen Sie die automatische Interpretation von Fernerkundungsbildern und ermöglichen Sie die weitverbreitete Anwendung intelligenter Fernerkundungstechnologie in Branchen wie der Landwirtschaft und der natürlichen Ressourcen.
Im akademischen Bereich stützt man sich auf das Nationale Schlüssellabor für Fernerkundungswissenschaft, das gemeinsam vom Institut für Fernerkundungsanwendungen der Chinesischen Akademie der Wissenschaften und der Beijing Normal University gegründet wurde.In meinem Land ist eine große Zahl von Eliten der Branche entstanden, darunter auch der Autor dieses Artikels, Professor Chen Jin, und sie leisten nach und nach wichtige Beiträge zur Entwicklung und zum Fortschritt der landwirtschaftlichen Fernerkundungstechnologie.
Bereits 1988 richtete das Labor das Global Agricultural Remote Sensing Rapid Reporting System (Cropwatch) ein. Auf der Grundlage von Fernerkundungs- und Bodenbeobachtungsdaten kann das System das Pflanzenwachstum, den Ertrag und andere damit verbundene Informationen auf nationaler und globaler Ebene unabhängig beurteilen. Mithilfe der KI-Technologie hat das Labor in der vergangenen Zeit eine Reihe von Errungenschaften erzielt, darunter eine neue optische dreidimensionale Fernerkundungsmethode mit ultrahoher Auflösung auf Basis des AGAR-Algorithmus, ein Satellitenüberwachungs- und Frühwarnsystem für Waldbrände mit KI-Algorithmus zur Fernerkundung und mehr.
Der Einsatz von KI in der landwirtschaftlichen Fernerkundung verbessert nicht nur die Effizienz und Genauigkeit der landwirtschaftlichen Produktion, sondern bietet auch eine starke technische Unterstützung für die nachhaltige Entwicklung der Landwirtschaft. Es ist absehbar, dass die Anwendung von KI in der landwirtschaftlichen Fernerkundung immer umfangreicher wird und immer mehr Lösungen für die Überwachung von Pflanzenkrankheiten und Schädlingen, die Beurteilung der Wachstumsbedingungen und Erträge von Nutzpflanzen, die effiziente Verwaltung und Optimierung der landwirtschaftlichen Produktion usw. bietet.
Abschließend empfehle ich eine akademische Austauschaktivität!
Zur dritten Live-Übertragung von Meet AI4S war Zhou Ziyi eingeladen, ein Postdoktorand am Institut für Naturwissenschaften der Shanghai Jiao Tong University und dem Shanghai National Center for Applied Mathematics. Klicken Sie hier, um einen Termin für die Live-Übertragung zu vereinbaren!
https://hdxu.cn/6Bjomhdxu.cn/6Bjom
