Genauigkeit Um 400% Verbessert! Das Indische Monsunvorhersagemodell, Das Auf 36 Wetterstationen Basiert, Ermöglicht Detaillierte Vorhersagen Auf Stadtebene.
In Mumbai, Indien, herrscht jedes Jahr von Juni bis September Monsunzeit. Extreme Regenfälle sind in den letzten Jahren häufiger geworden. Die durchschnittliche Niederschlagsmenge ist im Vergleich zu vor 2019 um fast 401 TP3 Tonnen gestiegen. Die Küstenstadt mit 18 Millionen Einwohnern wird oft durch heftige Regenfälle ins Chaos gestürzt: Verspätete Wetterwarnungen führen oft zu Arbeits- und Schulschließungen und sogar zu schweren Überschwemmungen. Die verheerenden Monsunkatastrophen erfordern dringend präzisere, lokale Wettervorhersagen.
In tropischen Monsunklimazonen ist es aufgrund der Auflösung globaler Standardwettermodelle von etwa 25 Quadratkilometern jedoch schwierig, die feinen Unterschiede lokaler Wettersysteme zu erfassen. Die Komplexität des Geländes verschärft zudem die räumliche Unsicherheit von Überschwemmungen. Daher beschränkten sich Monsunvorhersagen bisher auf Makrotrends.
Um diese Lücke bei der Vorhersage des Hochwasserrisikos in Städten zu schließen, haben das Indian Institute of Technology Bombay und ein Forschungsteam der University of Maryland gemeinsam ein hyperlokales Vorhersagemodell auf Basis von Convolutional Neural Networks (CNN) und Transfer Learning (CNN-TL) entwickelt, mit dem die meisten Starkregenereignisse mehrere Tage im Voraus vorhergesagt werden konnten.Dem jüngsten Bericht von Science zufolge erwägt Mumbai nun, es in sein offizielles Frühwarnsystem aufzunehmen, was eine neue Stufe der hyperlokalen Hochwasservorhersage in südasiatischen Städten einläuten würde.
Die entsprechenden Forschungsergebnisse sind auf SSRN unter dem Titel „Hyperlocal Extreme Rainfall Forecasts in Mumbai: Convolutional Neural Network Transfer Learning-Based Downscaling Approach“ vorab veröffentlicht.
Forschungshighlights:
* Erstellen Sie hyperlokale Prognosen auf Stadtebene, reduzieren Sie die Auflösung auf die Ebene städtischer Gebiete und beheben Sie die Mängel der Hochwasserrisikovorhersage in herkömmlichen numerischen Modellen (25-km-Raster).
* Durch eine Kombination aus Convolutional Neural Networks und Transfer Learning wird das Modell auf Basis vollständiger Niederschlagsdaten trainiert und mithilfe von Extremniederschlagsproben feinabgestimmt, wodurch die Fähigkeit des Modells, Extremereignisse zu erfassen, effektiv verbessert wird.
* Das räumliche Synchronisierungsmuster extremer Regenfälle in Mumbai wurde mithilfe der Ereignissynchronisierungsmethode und des Louvain-Algorithmus aufgedeckt, der effizienter ist als herkömmliche Clustering-Methoden.
Papieradresse:
https://go.hyper.ai/j05Vt
Folgen Sie dem offiziellen Konto und antworten Sie mit „India Monsoon Forecast“, um das vollständige PDF zu erhalten
Weitere Artikel zu den Grenzen der KI:
„Modelldaten + Prognosedaten“, Screening von 36 Beobachtungsstationen auf Basis von Datenlücken
Die in dieser Studie verwendeten Datensätze sind in zwei Kategorien unterteilt: Modelldaten und Messdaten:
- Modusdaten:Das Global Forecast System (GFS) der US-amerikanischen National Centers for Environmental Prediction (NCEP) deckt den Zeitraum von Juni 2015 bis September 2023 ab, mit einem räumlichen Bereich von 18°–20°N und 72°–74°E und einer Auflösung von 0,25°×0,25°;
- Prognosedaten:Die Daten stammen von automatischen Wetterstationen (AWS) der Stadtverwaltung Mumbai (MCGM) mit einem Aufzeichnungszeitraum von 15 Minuten für den Zeitraum von 2006 bis 2023 (ohne 2014). Aufgrund fehlender Messungen und diskontinuierlicher Daten an einigen Stationen wurden für die Analyse nur 36 Beobachtungsstationen mit relativ vollständigen Daten während der Monsunzeit 2015–2023 (Juni bis September) ausgewählt.
Um die Qualität der Eingabedaten sicherzustellen und die Vorhersageleistung des Modells zu verbessern, verarbeitete das Forschungsteam die Daten, indem es fehlende Daten eliminierte, Variablen überprüfte und räumliche Übereinstimmungen durchführte.Aus den Rohdaten der automatischen Wetterstationen eliminierte das Forschungsteam Standorte mit signifikanten Datenlücken und behielt nur diejenigen mit vollständigen Aufzeichnungen für mindestens fünf aufeinanderfolgende Jahre während der Monsunzeit (Juni bis September) bei. Darüber hinaus nutzten die Forscher ein Korrelationsscreening innerhalb der Modelldaten, um meteorologische Faktoren mit einer starken Korrelation zum Niederschlag (wie Niederschlagswasser, Niederschlagsmenge, relative Luftfeuchtigkeit, Temperatur und Luftdruck) als Prädiktorvariablen auszuwählen.
Nach der Vorverarbeitung hat das Forschungsteam die GFS-Gitterdaten mit den Standortbeobachtungsdaten abgeglichen, um „Input-Output“-Paare als Trainingsbeispiele für Convolutional Neural Networks und Transfer-Learning-Modelle zu erstellen.
Niederschlagsvorhersage basierend auf Convolutional Neural Network und Transfer Learning
Das Modell verwendet GFS-Daten als Eingabe und kombiniert diese mit gemessenen Niederschlägen. Zunächst wird ein Convolutional Neural Network verwendet, um die grob aufgelöste Vorhersage auf die Standortskala herunterzustufen. Anschließend optimiert es mithilfe von Transferlernen die Vorhersage extremer Niederschläge. Abschließend werden Standortvergleiche kombiniert, um die Synchronität regionaler Regenfälle zu ermitteln und die Gesamtprognosegenauigkeit zu verbessern.
Louvain-Clustering basierend auf der Ereignissynchronisationsmethode
In dieser Studie wurde die Methode der Ereignissynchronisation eingeführt, um regionale Regenstürme durch den Vergleich von Niederschlagszeitreihen an verschiedenen Stationen zu identifizieren und so das räumliche Synchronisierungsmuster extremer Regenfälle in Städten aufzudecken.Im Vergleich zur herkömmlichen linearen Korrelationsanalyse eignet sich diese Methode besser zur Erfassung extremer Niederschlagsbedingungen mit starker Plötzlichkeit und offensichtlichen nichtlinearen Eigenschaften.
Nach der Eingabe der vorverarbeiteten Daten wählte das Forschungsteam mithilfe einer Korrelationsanalyse die GFS-Variablen aus, die am engsten mit dem Niederschlag zusammenhängen. Sie betrachteten die extremen Niederschlagsprozesse an jeder Station während des Beobachtungszeitraums als „Ereignisse“ und bewerteten ihre Synchronisierung in der Zeitreihe, indem sie die Zeitdifferenz und Häufigkeit der Ereignisse zwischen den Stationen berechneten.
Nach der Ausgabe der Ereignissynchronisationsmatrix zwischen den Stationen verwendeten die Forscher zusätzlich den Louvain-Algorithmus, um die Beziehungen zu clustern und Stationen mit ähnlichen Niederschlagssynchronisationsmerkmalen in dieselbe Gruppe einzuteilen.
Downscaling von Convolutional Neural Network-Modellen
Nach Abschluss der ClusterungBasierend auf dem Convolutional-Neural-Network-Modell hat das Forschungsteam die GFS-Daten mit niedriger Auflösung schrittweise auf die Standortskala herunterskaliert.
Die Forscher überprüften zunächst die meteorologischen Variablen des GFS-Rasters und behielten dabei die Faktoren bei, die am engsten mit dem Niederschlag zusammenhängen, wie Niederschlagsrate, Luftfeuchtigkeit, Temperatur und Luftdruck.Und Eingabe in das Convolutional-Neural-Network-Modell in vierdimensionaler Form.
Das in dieser Studie verwendete Convolutional Neural Network ist in Convolutional- und Flattening-Schichten unterteilt. Die Convolutional-Schichten extrahieren räumliche und zeitliche Merkmale aus den Eingangsvariablen, während die Flattening-Schichten diese Merkmale anschließend mit den an der automatischen Wetterstation in Mumbai gemessenen Niederschlagsdaten abgleichen und so eine Input-Output-Beziehung herstellen. Die vom Convolutional Neural Network erfassten und extrahierten lokalen Merkmale werden dann ausgegeben, um den täglichen Niederschlag an jeder Station direkt vorherzusagen. Dadurch wird eine nichtlineare Herunterkonvertierung von GFS-Daten mit grober Auflösung zu feinkörnigen Niederschlagsdaten auf Stationsebene erreicht.
Es ist erwähnenswert, dassDie Forscher führten außerdem Maßnahmen wie das frühzeitige Stoppen ein, um eine Überanpassung zu vermeiden.
Transferlernen Feinabstimmung Optimierung
In dieser StudieDas Team führte Transferlernmethoden ein, um dem Modell zu ermöglichen, die Merkmale sowohl allgemeiner Niederschlagsbedingungen als auch extremer Niederschlagsereignisse zu erkennen:Dabei bleibt die grundlegende Faltungsschicht unverändert, während der Teil in der Nähe der Ausgabeschicht Parameteraktualisierungen zulässt, um die Probleme hoher Rechenkosten und unzureichender Stichproben zu vermeiden und gleichzeitig eine Überanpassung des Modells bei extremen Stichproben zu verhindern.
Das Forschungsteam trainierte zunächst das Basismodell des Convolutional Neural Network anhand der vollständigen Niederschlagsdaten der Beobachtungsstation Mumbai von 2015 bis 2023, um eine stabile Vorhersage des Modells für allgemeine Niederschläge mittlerer und geringer Intensität zu gewährleisten. Darüber hinaus verwendeten die Forscher in der Feinabstimmungsphase Niederschlagsproben mit hoher Intensität, die die Quantile 95% oder 99% überschritten.Konzentrieren Sie das Modell auf das Erlernen extremer Ereignisse und verbessern Sie seine Empfindlichkeit gegenüber extremen Stichproben.
Überprüfung der Modellleistung in Zeit und Raum
Das Forschungsteam nutzte eine Vielzahl statistischer Indikatoren und realer Fälle, um die Systemleistung des Modells zu überprüfen. Die Ergebnisse zeigten, dass das Prognosemodell das traditionelle Global Forecast System (GFS) und nicht optimierte Convolutional Neural Network-Modelle in vielen Aspekten deutlich übertraf.Die Auswertung erfolgt anhand gängiger quantitativer Indikatoren, darunter Korrelationskoeffizient (CC), mittlerer quadratischer Fehler (RMSE), Falschalarmrate (FA) usw.
Gesamtleistung der Niederschlagsvorhersage
Bei der allgemeinen Niederschlagsvorhersage schneidet das Transferlernmodell besser ab als GFS.Die Verkleinerung des Convolutional Neural Network verbesserte die räumliche Genauigkeit deutlich, mit allgemein höheren Korrelationskoeffizienten und einem deutlich niedrigeren mittleren quadratischen Fehler (RMSE), wodurch die Lücke zwischen Modell und Beobachtungen effektiv geschlossen wurde. Die Einführung von Transfer Learning machte das Modell robuster bei der Vorhersage von mäßigen bis starken Niederschlägen und reduzierte Unterschätzungen. Insgesamt übertraf Transfer Learning andere Modelle bei Vorhersagen ein bis drei Tage im Voraus, mit besonders starker Leistung bei Vorhersagen zwei Tage im Voraus.
Bei der Vorhersage extremer Niederschlagsmengen verbessert Transferlernen die Fähigkeit des Modells, extreme Stichproben zu identifizieren.Beim Test der 95%- und 99%-Quantile ist die Zeitvorhersagegenauigkeit des Transferlernmodells um 60%–400% höher als die von GFS. Die Vorhersagen für den 1. und 2. Tag können die meisten Regensturmprozesse früher erfassen und die Fehlalarmrate effektiv reduzieren.
Modellhafte regionale Leistung und praktische Anwendung
Die Studie bestätigte die Fähigkeit des Modells, Niederschlagsvorhersagen für verschiedene Regionen Mumbais mithilfe von Ereignissynchronisation und räumlicher Clusterbildung zu synchronisieren. Die Ergebnisse zeigten, dass das Transferlernmodell nicht nur das voroptimierte Modell bei Einzelpunktprognosen übertraf, sondern auch die räumlichen Clustering-Eigenschaften zwischen den Standorten reproduzierte.
Indien baut ein groß angelegtes Modell lokaler Souveränität auf und beschleunigt seinen Einstieg in den Bereich der künstlichen Intelligenz
Tatsächlich widmet die akademische Gemeinschaft nicht nur der Anwendung von KI-Errungenschaften wie Monsun-Vorhersagemodellen Aufmerksamkeit,Auch die indische Regierung ist führend in der Entwicklung der KI.Ashwini Vaishnaw, Minister für Elektronik und Informationstechnologie, kündigte kürzlich den Start der nationalen „IndiaAI Mission“ an. Ziel ist es, die Entwicklung mehrerer indigener Basismodelle innerhalb der nächsten sechs bis zehn Monate abzuschließen. Diese groß angelegten Sprachmodelle werden unter Berücksichtigung des mehrsprachigen und multikulturellen Umfelds Indiens entwickelt und an die lokalen sozialen Bedürfnisse angepasst. Zu diesem Zweck hat Indien rund 18.600 GPUs aus aller Welt erworben, um die IndiaAI Compute Facility aufzubauen und so eine kontinuierliche Versorgung mit grundlegender Rechenleistung sicherzustellen.
gleichzeitig,Um unabhängige und kontrollierbare Kerntechnologien zu schaffen, hat die indische Regierung außerdem das lokale KI-Unternehmen Sarvam als Schlüsselpartner ausgewählt, um die Aufgabe zu übernehmen, Indiens erstes „souveränes Großmodell“ aufzubauen.Dieses Modell wird in der Lage sein, mehrere Sprachen in Indien zu verarbeiten und den Schwerpunkt auf Argumentation und Anpassungsfähigkeit an groß angelegte Anwendungsszenarien zu legen. In Zukunft wird es in der Lage sein, mehrere Bereiche wie das Gesundheitswesen und Regierungsangelegenheiten zu bedienen.
Darüber hinaus hat die indische Regierung die Datenplattform AI Kosha ins Leben gerufen, die darauf abzielt, öffentliche und nicht sensible Daten, die zum Trainieren von KI verwendet werden können, zentral zu verwalten, zu öffnen und zu teilen. Die India AI Compute Facility wird Start-ups und Forschungsteams zudem subventionierte GPU-Nutzungsrechte gewähren.Wir hoffen, schnell eine F&E-Umgebung aufzubauen, die mit denen in Europa, Amerika und Ostasien vergleichbar ist.
Mit dem Fortschreiten der IndiaAI-Mission lässt sich unschwer voraussehen, dass sich Indien allmählich von einem Mitläufer zu einem aktiven Teilnehmer im globalen KI-Wettbewerbsumfeld entwickeln wird.
Referenzlinks:
1.https://timesofindia.indiatimes.com/technology/artificial-intelligence/government-selects-indian-ai-company-sarvam-to-develop-nations-first-sovereign-large-language-model/articleshow/120645896.cms
2.https://indiaai.gov.in/article/union-minister-of-electronics-it-railways-and-i-b-announces-the-availability-of-18-000-affordable-ai-compute-units
3.https://www.electronicsforyou.biz/industry-buzz/indiaai-mission-expands-to-18693-gpus-for-rd/