Pas De Remplacement, Mais De Symbiose ! L’avenir De La Science Météorologique Nécessite La Combinaison Organique De L’ia Et Des Prévisions Numériques
2022 est souvent considérée par les initiés du secteur comme la première année où l’IA permettra de mieux prévoir la météo.
Depuis cette année, l’application de l’IA dans le domaine de la météorologie a connu une croissance explosive. Une série de méthodes et de modèles innovants tels que NVIDIA DLWP et Google MetNet-2 ont poussé comme des champignons après la pluie. Des résultats « premiers », « inédits » et « révolutionnaires » sont souvent apparus au pays et à l’étranger. L’IA a montré des résultats étonnants, notamment en matière d’amélioration des capacités de prévision. En quelques mois seulement, elle a atteint les objectifs que les prévisions numériques ont mis des décennies à atteindre, voire mieux.
Il faut savoir que la prévision numérique a une histoire vieille de cent ans. Il a favorisé le développement rapide de la science atmosphérique pendant près d’un demi-siècle et constitue le modèle dominant des prévisions météorologiques modernes. Dans certains scénarios, la précision des prévisions numériques est supérieure à celle de l'IA, ce qui a également amené les acteurs du secteur à réfléchir et à s'interroger :Cette méthode classique, qui a fait ses preuves depuis un siècle, est-elle sur le point d’être rattrapée, dépassée, voire complètement remplacée par l’IA ?
Huang Wei, directeur adjoint de l'Institut de recherche sur les typhons de Shanghai de l'Administration météorologique chinoise, a déclaré : « Dans un avenir prévisible,La combinaison organique des prévisions météorologiques par IA et des prévisions numériques traditionnelles est le moyen le plus efficace de réaliser des percées dans la technologie de prévision."
Il existe en effet une relation de couplage naturelle entre la prévision numérique et l’IA. Les prévisions numériques peuvent fournir des résultats de prévision explicables grâce à des théories physiques et mathématiques, et l’IA peut utiliser les connaissances et l’expérience pour améliorer la vitesse et la précision des calculs de prévision. La complémentarité entre les deux pourrait être la voie clé pour le développement futur des prévisions météorologiques.
Nous essayons d'aider les lecteurs à comprendre la relation complexe et les possibilités potentielles entre la prévision numérique du détail à la surface en triant et en analysant le passé et le présent de la prévision numérique et des méthodes d'intelligence artificielle de pointe représentatives.
De la théorie à la pratique, un siècle d'exploration de la prévision numérique
En fait, avant l’avènement des prévisions numériques,Les prévisions extrapolées basées sur des cartes météorologiques étaient le principal moyen de prévision météorologique à cette époque.
Remplissez les emplacements des villes, des stations d'observation et des principaux fleuves, lacs, montagnes et autres points de repère géographiques sur la carte de base, et dessinez les éléments météorologiques de différentes parties du monde en même temps sur cette carte pour former une carte météorologique. En analysant les cartes météorologiques et en nous basant sur le principe selon lequel l’évolution météorologique est continue sur une courte période de temps, nous pouvons prolonger la tendance météorologique actuelle sur une période de temps et obtenir des résultats de prévision.
Les prévisions extrapolées basées sur des cartes météorologiques ne peuvent pas refléter les mouvements et les changements dans l’atmosphère, et leur niveau de prévision est grandement limité.Afin d’obtenir des prévisions météorologiques plus précises, les météorologues tentent d’introduire des méthodes de physique mathématique pour étudier les lois physiques de l’évolution du temps.Une technique de prévision basée sur la description quantitative a été développée, qui est devenue plus tard la prévision numérique du temps.
Grâce aux ordinateurs électroniques, les prévisions numériques ont fortement progressé
La trajectoire du mouvement de l'atmosphère suit la théorie de base de la mécanique des fluides. Le météorologue norvégien Pieknes estime que « l'état futur de l'atmosphère est, en principe, déterminé par l'état initial de l'atmosphère, l'équation du mouvement atmosphérique, l'équation de conservation de la masse, l'équation d'état, l'équation thermodynamique, etc. » Par conséquent, les gens essaient de combiner ces facteurs d'influence dans un ensemble d'équations pour refléter l'état du mouvement atmosphérique et utilisent les éléments météorologiques en temps réel de l'atmosphère fournis par le réseau d'observation météorologique comme entrée de l'ensemble d'équations, résolvent les valeurs variables de l'équation au fil du temps, puis obtiennent l'état futur de l'atmosphère.C’est l’idée de base des prévisions météorologiques numériques.
De 1916 à 1919, le Dr Richardson du Royaume-Uni a réalisé le premier calcul pratique de prévision numérique, mais l'expérience a été un échec complet. Il a conclu plus tard :Ce type de prédiction nécessite beaucoup de calculs.Même avec l’aide de calculatrices manuelles, il est difficile de prédire le temps qu’il fera avant qu’il n’arrive. « Bien que les résultats de cette tentative n'aient pas été bons, il a démontré au monde extérieur le processus de calcul de base, les étapes et les problèmes rencontrés dans la prévision météorologique numérique, offrant une bonne expérience d'apprentissage pour les générations futures.
En 1946, le premier ordinateur électronique au monde, ENIAC, a été lancé, avec une vitesse de calcul allant jusqu'à 5 000 opérations d'addition par seconde. Depuis lors, von Neumann, connu comme le « père de l'informatique », a toujours été entouré de météorologues exceptionnels du monde entier. Leur objectif est deUtilisez les ordinateurs électroniques nouvellement inventés pour réaliser des prévisions météorologiques numériques précises.
En 1950, les scientifiques américains Charney, Feyerfuss et von Neumann, s'appuyant sur une expérience antérieure, ont réussi à calculer pour la première fois sur ENIAC une prévision sur 24 heures des conditions météorologiques à 500 hPa.Il s’agissait de la première prévision météorologique numérique réussie.C'est aussi un symbole historique. Depuis lors, la recherche sur les prévisions météorologiques numériques est entrée dans une période de développement vigoureux, et d’innombrables scientifiques et institutions, au pays et à l’étranger, se sont consacrés au développement de ce domaine.
Administration météorologique chinoise : adhérer à la recherche et au développement indépendants et maîtriser la technologie d'assimilation de données variationnelles en quatre dimensions
En 1975,Le Centre européen pour les prévisions météorologiques à moyen terme (CEPMMT) a été créé.Au cours de sa quatrième année de création, elle a publié des produits de prévisions météorologiques numériques à moyen terme et s'est progressivement établie une position de leader dans le domaine des prévisions météorologiques numériques à l'échelle mondiale. Aujourd’hui, l’ECMWF dispose du système de prévision numérique du temps le plus avancé au monde. Il travaille avec les agences météorologiques et hydrologiques nationales de 34 États membres et des États membres coopérants pour concevoir de nouveaux produits de service et évaluer et diagnostiquer la qualité des prévisions. Il est entendu que les agences météorologiques des États membres bénéficient du privilège de recevoir chaque jour en temps réel les produits et services de prévisions météorologiques numériques réalisés par le centre. Ces services sont également fournis aux clients dans plus de 30 pays par le biais de canaux commerciaux.
Cependant, la Chine n’est pas membre du CEPMMT.
Aux premiers stades de son développement, le modèle de prévision numérique de mon pays s’est retrouvé face à un choix : devait-il introduire les prévisions numériques les plus avancées du CEPMMT ou développer de manière indépendante des prévisions numériques nationales ? L’introduction directe permet de gagner du temps et des efforts, mais la technologie de prévision de base de l’ECMWF, la technologie d’assimilation de données variationnelles à quatre dimensions, n’a jamais été divulguée à d’autres pays. « Pour ne pas être étranglé par les pays européens et américains,La Chine doit maîtriser les technologies de base". Sun Jian, membre de l'équipe d'ingénierie et de technologie du système mondial de prévision numérique du temps du Centre de prévision numérique du système terrestre de l'Administration météorologique de Chine, a déclaré.
* Assimilation de données variationnelles tridimensionnelles : les données sur l'état atmosphérique à plusieurs moments, telles que la température, l'humidité, la pression atmosphérique, la vitesse du vent, etc., sont supposées être simultanées et calculées à l'aide de modèles de prévision numérique pour obtenir les conditions météorologiques à un certain moment dans le futur.
* Assimilation de données variationnelles en quatre dimensions : sur la base de l'assimilation de données variationnelles en trois dimensions, les informations de dimension temporelle sont ajoutées pour lier les données sur l'état atmosphérique à plusieurs moments, trouver la relation de changement entre les données, puis estimer la météo future grâce à des calculs de modèle.
Le Centre national du climat a été créé en 1995. Après dix ans de recherche et développement, le Centre national du climat a lancé avec succès le système de modèle de prévision climatique NCC en 2005. En tant que première génération de système commercial de modèle climatique dynamique de prévision climatique à court terme de mon pays, il a été rapidement mis en service et a joué un rôle incommensurable dans la prévention et l'atténuation des catastrophes et dans les services de soutien météorologique du pays.
Grâce à des innovations et des percées indépendantes continues, les systèmes commerciaux de prévision des modèles climatiques à court terme de deuxième et troisième générations de mon pays ont été lancés les uns après les autres, devenant un élément indispensable du système commercial climatique moderne. Afin de promouvoir davantage le développement de la technologie de prévision météorologique, l'Administration météorologique de Chine a établi une base d'innovation en matière de prévision numérique et un centre de prévision numérique, et a réalisé des avancées majeures dans l'assimilation variationnelle en quatre dimensions, le cadre dynamique du modèle et la technologie d'assimilation des données satellitaires.
En 2021, le système de prévision météorologique numérique de mon pays a de nouveau remporté le Prix national du progrès scientifique et technologique, marquant ainsi une nouvelle étape dans le développement de l'industrie. En janvier 2024, l'Administration météorologique chinoise a annoncé que son système de prévision d'assimilation globale (CMA-GFS) V4.0 développé indépendamment était officiellement mis en service. Après cette mise à niveau, le nombre de jours de prévision disponibles dans l'hémisphère nord a dépassé 8 jours et la résolution spatiale des prévisions mondiales a été augmentée de 25 kilomètres à 12,5 kilomètres. La technologie d’assimilation de la Chine a obtenu des résultats de premier plan à l’échelle internationale.Mon pays est devenu l’un des rares pays au monde à développer de manière indépendante un système global d’assimilation variationnelle à quatre dimensions.
Bien que les prévisions numériques aient fait des progrès significatifs au cours des dernières décennies, même les superordinateurs d'aujourd'hui ont encore besoin de plusieurs heures de simulation pour réaliser une prévision météorologique sur 3 jours face à des quantités massives de données d'observation provenant de la télédétection par satellite, des observations radar, des observations aériennes, des observations de navires et des bouées offshore.Les ressources informatiques sont confrontées à de grands défis dans le traitement d’énormes quantités d’informations.
La vague de technologie ne s’arrête jamais. Avec l’essor de l’IA, cette technologie, « conçue pour traiter de grandes quantités de données », a attiré une attention généralisée car elle peut apporter des vitesses de calcul plus rapides, une plus grande précision des prévisions et des coûts inférieurs aux prévisions météorologiques.
En résolvant trois problèmes majeurs, les prévisions météorologiques de l'IA atteignent une double amélioration en termes de précision et de rapidité
Les prévisions météorologiques basées sur l’apprentissage automatique peuvent former des modèles de prédiction basés sur des données météorologiques historiques (y compris des données d’observation et d’analyse). Ce modèle peut identifier et apprendre des facteurs dans l’ensemble de données qui ne sont pas facilement exprimés par des équations explicites, améliorant ainsi la précision des prédictions.
Cependant, les modèles d’apprentissage automatique doivent encore relever de nombreux défis pour parvenir à des prédictions plus précises.Il existe trois problèmes majeurs : l’accumulation itérative d’erreurs, la rareté des données à haute résolution et le lissage des prévisions météorologiques extrêmes.Ces dernières années, les universités et l’industrie ont lancé des efforts pour relever ces trois défis majeurs, en promouvant la double amélioration des prévisions météorologiques de l’IA, tant en termes de précision que de rapidité des prévisions météorologiques.
Pangu-Weather résout le problème de l'accumulation itérative d'erreurs
En termes de résolution de l’accumulation d’erreurs itératives, en juillet 2023,Les chercheurs de Huawei Cloud ont lancé Pangu-Weather, un modèle mondial de prévision météorologique basé sur l'IA.Ce modèle est la première méthode d’IA dont la précision de prédiction dépasse celle des modèles de prévision numérique traditionnels. La vitesse de prédiction peut être augmentée de plus de 10 000 fois. Le modèle a une résolution spatiale horizontale de 0,25°×0,25° et une résolution temporelle de 1 heure, couvrant 13 couches verticales. Il peut prédire avec précision les caractéristiques météorologiques à grain fin et prédire les résultats météorologiques tels que le potentiel, l'humidité, la vitesse du vent, la température et la pression au niveau de la mer en quelques secondes.
Pangu-Weather résout le problème de longue date de la précision insuffisante des modèles de prévisions météorologiques IA : étant donné que les phénomènes atmosphériques sont essentiellement en 3D, les modèles de prévisions météorologiques IA basés sur des réseaux neuronaux 2D présentent certaines limitations lors du traitement de données météorologiques 3D inégales ; De plus, les méthodes d’IA basées sur les données manquent de contraintes de mécanismes mathématiques et physiques et continueront d’accumuler des erreurs itératives au cours des longues itérations de prévision.
En réponse à cela, l’équipe Pangu a proposé de manière créative un transformateur 3D spécifique à la Terre qui s’adapte au système de coordonnées terrestres et a utilisé une stratégie d’agrégation hiérarchique du domaine temporel pour réduire le nombre d’itérations de prévision.Cela réduit l’erreur d’itération.La recherche a été publiée dans Nature sous le titre « Prévision météorologique mondiale précise à moyen terme avec des réseaux neuronaux 3D ».
Adresse du document :https://www.nature.com/articles/s41586-023-06185-3
Bien que Pangu-Weather ait obtenu des prévisions à haute résolution de 0,25°, de nombreux météorologues espèrent encore obtenir des prévisions météorologiques à plus haute résolution pour obtenir des résultats de prévision plus détaillés.
FengWu-GHR résout le problème de la rareté des données haute résolution
Pour résoudre le problème de la rareté des données à haute résolution, en mars 2024,Le laboratoire d'intelligence artificielle de Shanghai, en collaboration avec le Centre météorologique national, le Centre national d'information météorologique, l'Université des sciences et technologies de l'information de Nanjing, l'Université des sciences et technologies de Hong Kong et d'autres institutions, a publié le modèle mondial de prévision météorologique IA haute résolution FengWu-GHR.Ce modèle est le premier modèle météorologique IA qui améliore la résolution des prévisions à 0,09° (9 km*9 km) et peut modéliser et prévoir la météo à moyen terme au niveau de 10 kilomètres. Par rapport aux 0,25° précédents, la précision de la portée est plus de 7 fois supérieure et le temps de prévision effectif est augmenté de 10,75 jours à 11,25 jours.
La recherche a été publiée sur arXiv sous le titre « FengWu-GHR : Apprendre les prévisions météorologiques mondiales à moyenne portée à l'échelle du kilomètre ».
Adresse papier:https://arxiv.org/abs/2402.00059
Limitées par les technologies d’observation passées, les données à haute résolution sont rares. Les chercheurs ont proposé de manière innovante une cartographie de la cohérence spatiale et des techniques d'apprentissage par transfert combiné découplé, qui augmentent la modélisation secondaire des activités atmosphériques régionales en apprenant les connaissances préalables du modèle pré-entraîné sur des données de réanalyse à basse résolution et en les combinant avec une petite quantité de données d'analyse opérationnelle en temps réel à haute résolution.Résoudre le problème de la rareté des données à haute résolution.
Pangu-Weather utilisait auparavant un modèle d'entraînement distinct à chaque instant de prédiction pour résoudre le problème d'accumulation d'erreurs. Cette méthode est efficace, mais son coût d'entraînement est très élevé. Nous avons ajouté un module LoRA à chaque étape du processus de prédiction et avons entraîné chaque étape avec un nombre réduit de paramètres. Cela équivaut à avoir un nouveau modèle pour chaque étape de la prédiction, mais avec un nombre réduit de paramètres, ce qui réduit considérablement les coûts de calcul. a déclaré Su Rui, un jeune chercheur au Laboratoire d'intelligence artificielle de Shanghai.
De plus, il existe très peu de données sur les phénomènes météorologiques extrêmes. Les modèles d'IA basés sur les données ont tendance à lisser les résultats des prévisions météorologiques extrêmes. Améliorer la précision des prévisions météorologiques extrêmes est également un problème complexe qu'il faudra résoudre à l'avenir.
Aurore Prédire les conditions météorologiques extrêmes 5 000 fois plus rapidement
Pour résoudre le problème du lissage des prévisions météorologiques extrêmes, en mai 2024,Microsoft a publié Aurora, son premier modèle de base atmosphérique à grande échelle.Le modèle a été formé sur plus d’un million d’heures de simulations météorologiques et climatiques diverses. En fonctionnant à une résolution spatiale élevée de 0,1° (environ 11 kilomètres à l'équateur), il peut capturer les détails complexes du mouvement atmosphérique et fournir des prévisions météorologiques précises à haute résolution pour 10 jours en moins d'une minute. La vitesse de calcul est 5 000 fois plus rapide que celle du système de prévision numérique le plus avancé IFS.
Ce qui est encore plus surprenant, c’est que le modèle peut améliorer la capacité à prédire les conditions météorologiques extrêmes, comme la détérioration rapide d’événements météorologiques violents comme la tempête Xialan. La recherche a été publiée sur arXiv sous le titre « Aurora : un modèle fondateur de l'atmosphère ».
Adresse du document :https://http://arxiv.org/abs/2405.13063
Aurora est conçu pour traiter des entrées hétérogènes de référence et générer des prédictions à des résolutions et une fidélité variables. Le modèle se compose d'un transformateur Swin 3D flexible et d'encodeurs et décodeurs basés sur Perceiver, capables de traiter et de prédire les variables atmosphériques à différents niveaux spatiaux et de pression.
En effectuant une pré-formation sur un ensemble de données vaste et diversifié, puis en l'ajustant pour une tâche spécifique, Aurora peut capturer les modèles et la structure complexes de l'atmosphère.Même lorsqu'il est optimisé pour des tâches spécifiques avec des données de formation limitées, comme les conditions météorologiques extrêmes, il possède toujours d'excellentes capacités prédictives.
Outre les trois réalisations mentionnées ci-dessus, l'émergence de nombreux modèles météorologiques IA, tels que FourCastNet de NVIDIA, GraphCast de Google DeepMind, SwinVRNN d'Alibaba, NowcastNet publié par l'Université Tsinghua et l'Administration météorologique chinoise, et Fuxi de l'Université Fudan, repoussent constamment les limites des prévisions météorologiques IA.
Français Il convient de mentionner qu'afin d'accélérer davantage l'application de l'intelligence artificielle dans le domaine des affaires météorologiques, en mai 2024, l'Administration météorologique de mon pays a publié le « Catalogue spécial de données de formation aux grands modèles météorologiques d'intelligence artificielle », qui a révélé 6 ressources/produits de big data, dont le produit de réanalyse atmosphérique mondiale version 1.5 de l'Administration météorologique chinoise, le produit de modèle météorologique mondial du Système mondial d'assimilation et de prévision (CMA-GFS) de l'Administration météorologique chinoise version 4.0, le produit d'analyse météorologique marine mondiale en temps réel de l'Administration météorologique chinoise, l'ensemble de données mondiales sur les cyclones tropicaux, l'ensemble de données mondiales de compilation au sol, l'ensemble de données mondiales de compilation de l'air supérieur, etc. Cette démarche vise à faciliter l'accès aux ressources de données par tous les secteurs de la société pour soutenir et accélérer leur recherche et développement et leur innovation dans l'application de la technologie de l'intelligence artificielle, en particulier dans le domaine de la météorologie.
On peut dire que les prévisions météorologiques basées sur l'IA connaissent une période dorée de développement rapide, tant en termes de technologie que de politique, et ont reçu une grande attention de la part du « gouvernement, de l'industrie, du monde universitaire et de la recherche ».
L'IA combinée aux prévisions numériques traditionnelles peut aller plus loin
L’intelligence artificielle, en tant que leader technologique actuel et chouchou de tous les domaines, est considérée comme une nouvelle force capable de subvertir le domaine de la science atmosphérique.Cependant, l’explicabilité et la crédibilité de l’IA font encore défaut.Les modèles d’IA de type « boîte noire » obtiennent des informations directement à partir de quantités massives de données et n’ont pas besoin de se conformer aux lois de la physique, ce qui rend difficile pour les météorologues de comprendre la force motrice derrière les prévisions de l’IA.
En se concentrant sur la méthode traditionnelle de prévision numérique, il est basé sur la théorie de la dynamique météorologique, exprimée mathématiquement et intégrée avec des équations aux dérivées partielles, et mise en œuvre avec des techniques de programmation de dynamique des fluides. Il peut fournir des résultats de prévision hautement fiables et explicables, ce qui constitue un complément très nécessaire aux méthodes d’IA.
En fait, les météorologues de notre pays participent activement à des recherches de pointe sur l’intégration de l’IA et des prévisions numériques traditionnelles. En mai 2024, l'équipe de Xu Hongxiong, chercheur au Laboratoire clé d'État sur les phénomènes météorologiques violents de l'Académie chinoise des sciences météorologiques, a publié un résultat de recherche révolutionnaire. Ils ont combiné avec succès le modèle de prévision météorologique Pangu-weather avec le modèle de prévision numérique régional WRF-ARW. Il s’agit de la première application d’un modèle météorologique IA pour générer des prévisions numériques régionales. Il capture non seulement les principaux processus physiques des événements météorologiques extrêmes, mais étend également la période de prévision effective de 400 mm de précipitations à 8,5 jours, améliorant ainsi considérablement les capacités de prévision.
L'étude, intitulée « Amélioration des prévisions de précipitations extrêmes désastreuses dans le nord de la Chine grâce au modèle WRF régional piloté par l'IA météorologique Pangu », a été publiée dans Environmental Research Letters.
Lien vers l'article :
https://iopscience.iop.org/article/10.1088/1748-9326/ad41f0
Avec le développement des prévisions météorologiques, la combinaison de l’IA avec les prévisions numériques traditionnelles devient un consensus parmi la plupart des experts. Il pourrait être difficile pour l’IA de devenir complètement le nouveau leader dans la compréhension du temps, de la météo, de la température et de l’humidité. Les méthodes classiques de prévision numérique, vérifiées depuis des centaines d’années, doivent également s’adapter au rythme du temps et être continuellement réitérées dans le contexte des phénomènes météorologiques extrêmes fréquents et de la difficulté de réaliser des prévisions précises à l’époque contemporaine. Ce n’est que lorsque les anciennes et les nouvelles méthodes se complètent que nous pouvons espérer incuber et dériver une méthode composite plus fiable et plus efficace face à des défis inconnus. C’est peut-être la meilleure façon de prédire le temps qu’il fera à l’avenir.
HyperAI continue de suivre les réalisations de pointe d'AI4S.Le projet open source « awesome-ai4s » rassemble plus de 100 interprétations d'articles AI4S.Le thème spécial IA+météorologie est résumé comme suit :
https://github.com/hyperai/awesome-ai4s
Références :
https://iap.cas.cn/gb/kxcb/kpwz/202004/t20200417_5551357.html
https://www.metax-tech.com/en/ndetail/12503.html
http://paper.people.com.cn/rmzk/html/2024-04/29/content_26056178.htm
https://www.eurekalert.org/news-releases/1007746