Su Rui Vom Shanghai Artificial Intelligence Laboratory: FengWu-GHR Löst Die Probleme Von Datensilos, Rechenleistung Und Fehlerhäufigkeit Und Erzielt Mehrere Durchbrüche Bei Der KI-Wettervorhersage.

„Vor dem Aufkommen von KI-Methoden dauerte es zehn Jahre, um die Fähigkeiten zur Wettervorhersage um einen Tag zu verbessern, aber nach der Einführung von KI können die Vorhersagefähigkeiten in wenigen Monaten verbessert werden.“

Auf dem Forum „AI for Science“ der Beijing Zhiyuan Conference 2024 gab Su Rui, ein junger Forscher am Shanghai Artificial Intelligence Laboratory, einen Überblick über die historische Entwicklung der KI-Wettervorhersage, erörterte ausführlich die Herausforderungen in diesem Bereich und stellte umfassend die Forschungsergebnisse seines Teams FengWu-GHR vor.

HyperAI hat die ausführlichen Ausführungen von Professor Su Rui zusammengestellt und zusammengefasst, ohne die ursprüngliche Absicht zu verletzen. Lassen Sie uns die neuesten Entwicklungen in der KI-Meteorologie entschlüsseln!

Heute,Das Thema, das ich mit Ihnen teilen werde, lautet: „Die Zukunft erforschen, das Wetter intelligent steuern – bahnbrechende Fortschritte der künstlichen Intelligenz in der Geoforschung.“

Die sogenannte Geowissenschaftsforschung befasst sich hauptsächlich mit der Untersuchung der Atmosphäre, Ozeanosphäre, Biosphäre, Lithosphäre und den Wechselwirkungen, Austausch- und Zirkulationsprozessen zwischen ihnen. Tatsächlich wird die Zirkulation der Atmosphäre und der Ozeane große Auswirkungen auf die Meteorologie, das Klima, das Ökosystem usw. der Erde haben. Die Simulation und Analyse der Veränderungen in der Atmosphäre und den Ozeanen und die daraus resultierende Vorhersage von Wetter und Klima usw. sind für die nachhaltige Entwicklung der Menschheit von entscheidender Bedeutung.

KI-Prognose vs. digitale Prognose

In der Vergangenheit wurden bei der Erforschung physikbasierter digitaler Prognosemodelle große Fortschritte erzielt, ihre Entwicklung verläuft jedoch noch immer langsam und der Bedarf an Rechenleistung ist sehr groß. Mit der erfolgreichen Anwendung von Deep Learning und künstlicher Intelligenz in verschiedenen Bereichen versuchen immer mehr Forschungseinrichtungen, datengesteuerte Methoden für die Wettervorhersage einzusetzen.

Zum Beispiel,Das Europäische Zentrum für mittelfristige Wettervorhersage ist eine international anerkannte Behörde.Seit 2018 versuchen wir als Vorreiter, Deep-Learning-Technologien für die Wettervorhersage einzusetzen. Aufgrund der damals niedrigen Auflösung der Wetterdaten war die Wirkung dieses Versuchs jedoch mittelmäßig.

Februar 2022NVIDIA führt FourCastNet-Wettermodell einZum ersten Mal wurden Vorhersagen auf Grundlage von meteorologischen Daten mit einer Auflösung von 0,25° erstellt. Allerdings übertraf das Modell noch immer nicht das physikalische digitale Vorhersagemodell des Europäischen Zentrums für mittelfristige Wettervorhersage und dieses Modell kann nur eine kleine Anzahl meteorologischer Elemente vorhersagen.

November 2022Huawei bringt Pangu-Wettermodell auf den MarktDie Ankündigung, dass das Modell bei hochauflösenden meteorologischen Daten das IFS-Modell des Europäischen Zentrums für mittelfristige Wettervorhersage übertraf, wurde als großer Durchbruch angesehen.

Einen Monat späterTiefengeist  Das Unternehmen hat das Wettermodell GraphCast eingeführt.Das Hauptmerkmal dieses Modells besteht darin, dass es mehr verschiedene meteorologische Elemente vorhersagen kann.

April 2023Unser Team (Shanghai Artificial Intelligence Laboratory) hat sein eigenes groß angelegtes meteorologisches Modell FengWu eingeführt.Im Vergleich zu allen Vorgängermodellen hat FengWu erhebliche Leistungsverbesserungen erzielt.

KI-gesteuertes FengWu-Modell erreicht optimale Vorhersagefähigkeit der Taifun-Trajektorie

Rollierende Prognose, die Inspiration für das FengWu-Modell

Wenn wir die Erde in eine Ebene entfalten und diese Ebene rastern, teilen wir die Längen- und Breitengrade des Globus in eine räumliche Auflösung von 0,25° auf (entsprechend einem Maßstab von etwa 25 Kilometern). Dies bedeutet, dass der Globus in etwa 720 × 1440 Gitterpunkte unterteilt ist, von denen jeder in 37 verschiedene Höhenebenen unterteilt ist, mit 169 Variablen wie Temperatur, Luftfeuchtigkeit, Windgeschwindigkeit, Meeresoberflächentemperatur und Oberflächenwindgeschwindigkeit. Bei der Wettervorhersage geht es darum, zukünftige Änderungen im globalen meteorologischen Elementfeld auf der Grundlage des globalen meteorologischen Elementfelds vorherzusagen.

Nach der Analyse der stündlichen Daten des globalen meteorologischen Elementfelds der letzten 40 Jahre stellte unser Team fest, dass das globale meteorologische Elementfeld zu jedem Zeitpunkt tatsächlich eine natürliche Anmerkung des Elementfelds zum vorherigen Zeitpunkt ist. Daher müssen wir, ohne dass zusätzliche gekennzeichnete Daten erforderlich sind, nur die Beziehung zwischen den meteorologischen Elementfeldern zu zwei benachbarten Zeitpunkten vorhersagen, um zukünftige Änderungen in den meteorologischen Elementfeldern vorherzusagen.Dies ist die ursprüngliche Inspiration für das FengWu-Modell.

Insbesondere verwendet das FengWu-Modell, nachdem es das meteorologische Elementfeld für den nächsten Moment vorhergesagt hat, dieses als Eingabe, um das meteorologische Elementfeld für den nächsten Moment vorherzusagen, und so weiter.Eine solche rollierende Prognose kann das für die nächsten 14 Tage vorherzusagende meteorologische Elementfeld liefern.

Zwei große Vorteile: langfristige Prognosefähigkeiten + hohe Rechenleistung

Das FengWu-Modell hat zwei große Vorteile.Eine davon ist die Fähigkeit zur langfristigen Vorausprognose,Es kann eine Prognosefähigkeit von 10,75 Tagen erreicht werden. Tatsächlich konnte das physikbasierte digitale Prognosemodell vor dem Aufkommen von KI-Methoden die Prognosefähigkeit im Durchschnitt alle 10 Jahre um einen Tag verbessern. Nach der Einführung von KI konnte die Prognosefähigkeit innerhalb weniger Monate verbessert werden.

Ein weiterer Vorteil des FengWu-Modells ist die Rechenleistung.In der Vergangenheit waren für das physikbasierte digitale Prognosemodell 10.000 Rechenknoten erforderlich, die eine Stunde lang ausgeführt wurden, um Prognoseergebnisse für die nächsten 10 Tage zu generieren. Das FengWu-Modell benötigt nur eine GPU, die 30 Sekunden lang ausgeführt wird, um die Prognoseergebnisse in der gleichen Zeit zu erhalten, was mehr als 2.000-mal schneller ist als herkömmliche Methoden.

Gemischte Gefühle: FengWus Stärken und Herausforderungen bei der Taifunvorhersage

Um die Eignung des FengWu-Modells zur Vorhersage der Taifunbahn zu bewerten, hat unser Team es anhand von Taifundaten nach 2023 getestet und die Testergebnisse mit denen des Europäischen Zentrums für mittelfristige Wettervorhersage, der japanischen Wetterbehörde, des US-Wetteramts und anderer Institutionen verglichen.

Die Ergebnisse zeigen, dass, wenn die Taifunbahn 0-120 Stunden im Voraus vorhergesagt wird,Das FengWu-Modell weist den geringsten Fehler bei der Vorhersage der Taifunpositionen an jedem Knoten auf.

Im Vergleich zu herkömmlichen physikalischen MethodenEs besteht immer noch eine Lücke in der Fähigkeit der KI, die Intensität von Taifunen vorherzusagen.Dies liegt daran, dass alle aktuellen KI-basierten Modelle datengetrieben trainiert werden. Da es relativ wenige Daten zu extremen Wetterereignissen wie Taifunen gibt, neigen KI-Modelle dazu, die Ergebnisse bei der Vorhersage extremer Wetterereignisse zu glätten, was zu einer schwachen Leistung bei der Vorhersage der Taifunintensität führt.

FengWu-GHR: KI-Prognoseauflösung erstmals auf 0,09° erhöht

Dringend zu lösende Probleme: Hohe Auflösung und langfristige Fehlerakkumulation

Tatsächlich haben wir nach Abschluss der Entwicklung des FengWu-Modells Feedback von vielen Experten aus dem meteorologischen Bereich erhalten. Eine der Rückmeldungen ist, dass FengWu zwar eine hochauflösende Vorhersage von 0,25° erreichen konnte,Sie hoffen jedoch weiterhin, Wettervorhersagen mit höherer Auflösung zu erhalten.Ein weiteres Feedback ist,Das Problem der Fehlerakkumulation durch langfristige Prognosen muss weiter gelöst werden.

Warum brauchen wir verfeinerte und hochauflösendere Wettervorhersagen?

Am Beispiel der Grafik der Oberflächentemperatur von Shanghai können wir erkennen, dass die Temperaturunterschiede zwischen den verschiedenen Gebieten Shanghais trotz seiner geringen Größe deutlich sind. Wenn die Nord-Süd-Distanz nur 80 Kilometer beträgt und wir zur Vorhersage das meteorologische Vorhersagemodell mit 0,25° verwenden, erhalten wir möglicherweise nur Daten von etwa 3 Gitterpunkten, was nicht ausreicht, um die Details der Wetterverteilung zu beschreiben. Prognosedaten mit höherer Auflösung ermöglichen eine genauere Simulation der atmosphärischen Bewegung und führen so zu verfeinerten Prognoseergebnissen.

Um dieses Problem zu lösen, haben wir das Modell FengWu-GHR eingeführt, das erste KI-Wettervorhersagemodell, das mit einer hohen Auflösung von 0,09° implementiert ist. Der konkrete Implementierungsprozess ist nicht einfach.

Erstens erhöht eine Erhöhung der Auflösung von 0,25° auf 0,09° den Rechenaufwand und den Speicherverbrauch um mehr als das 80-fache. Zweitens sind meteorologische Analysedaten mit höherer Auflösung äußerst selten, doch KI-Modelle benötigen zum Trainieren große Datenmengen, was es äußerst schwierig macht, ein hochauflösendes KI-Wettermodell von Grund auf zu trainieren.

Um diese Probleme zu lösen, versuchen wir, die hochauflösende atmosphärische Bewegung in zwei verschiedene Komponenten zu zerlegen.

Zunächst wird ein Modell (Metamodell) mithilfe einer großen Menge niedrig aufgelöster Daten trainiert. Anschließend werden die hochauflösenden Wetterdaten in mehrere Wetterdaten mit niedriger Auflösung zerlegt und das Metamodell wird verwendet, um die einzelnen Wetterdaten vorherzusagen. Schließlich werden diese Prognoseergebnisse zusammengefügt, um hochauflösende Wettervorhersageergebnisse zu erhalten.

Ein solcher Ansatz nutzt die nichtlinearen Beziehungen in hochauflösenden Daten jedoch nicht vollständig aus. Daher haben wir auf dieser Grundlage ein neues Modul und eine kleine Anzahl von Parametern eingeführt und das Modul mit hochauflösenden Daten trainiert, damit es die nichtlineare Kopplungsbeziehung zwischen hochauflösenden Regionen besser erfassen kann.

Insbesondere ist das Symbol auf der linken Seite der obigen Abbildung das ursprüngliche hochauflösende Feld, das in 4 verschiedene niedrig aufgelöste Felder unterteilt und dann vom Sprachmodell vorhergesagt wird. Nach der Kombination wird die Vorhersage des hochauflösenden Feldes erhalten und schließlich wird das neu hinzugefügte Modul verwendet, um seine Nichtlinearität zu erfassen.

Wenn es um das Problem der kumulativen Fehler bei langfristigen Prognosen geht,Um dieses Problem zu lösen, verwendet Pangu zu jedem Vorhersagezeitpunkt ein separates Trainingsmodell. Dies ist eine effektive Methode, der Schulungsaufwand ist jedoch sehr hoch. Daher haben wir jedem Schritt des Vorhersageprozesses ein LoRA-Modul hinzugefügt und jeden Schritt mit einer kleinen Anzahl von Parametern trainiert. Dies entspricht einem neuen Modell für jeden Vorhersageschritt, erfordert jedoch nur eine kleine Anzahl von Parametern, wodurch der Rechenaufwand erheblich reduziert wird.

Modellbewertung: FengWu-GHR erzielt weitere Verbesserung der Wettervorhersage

Da nur IFS ein Auflösungsergebnis von 0,09° erreicht hat, verwenden wir es als Referenzstandard zur Überprüfung unserer Testergebnisse.

Die Ergebnisse zeigen, dass FengWu-GHR bei den RMSE- und ACC-Indikatoren deutliche Vorteile aufweist, mit niedrigerem RMSE und höherem ACC.

Der Indikator Bias wird verwendet, um die Abweichung der Vorhersageergebnisse zu messen. Je näher FengWu-GHR bei 0 liegt, desto besser sind die Testergebnisse. Verwenden Sie Aktivitätsmetriken, um zu messen, ob die Vorhersageergebnisse mit zunehmender Vorhersagezeit mehrdeutiger werden. Die Ergebnisse zeigen, dass die Vorhersageergebnisse von FengWu-GHR allmählich zur Glättung tendieren und das Modell den Glättungseffekt bei der Vorhersage extremer Wettervorhersagen immer noch nicht löst.

Durch die Analyse der Felddaten und der Echtzeit-Beobachtungsdaten von 18.000 verschiedenen Wetterstationen verwenden wir die Daten von Juli bis Dezember 2022, um das Modell zu testen und es mit dem IFS_HRES- und Pangu-Modell zu vergleichen.FengWu-GHR hat den Vorteil, dass es Ergebnisse für eine beliebige Anzahl von Tagen im Voraus vorhersagen kann.

Darüber hinaus bietet FengWu-GHR auch Vorteile bei der Vorhersage von Hitze- und Kältewellen.

Heute sprechen wir über das Thema mittelfristige Wettervorhersage. Tatsächlich gibt es im atmosphärischen Bereich viele verschiedene Vorhersageskalen, darunter 1-3-Tage-, Langzeit- und saisonale Klimavorhersagen usw. Derzeit konzentrieren wir uns hauptsächlich auf die Erforschung mittelfristiger Wettervorhersagemöglichkeiten, hoffen jedoch, in Zukunft eingehendere Untersuchungen durchführen zu können, um zu ermitteln, ob wir unsere Forschung von mittelfristigen Prognosen auf Prognosen auf Klimaebene ausweiten können, und um die Klimaentwicklung und künftige Entwicklungstrends weiter zu untersuchen.