NVIDIA/UC Berkeley Et D'autres Ont Proposé Le Système De Prévision Météorologique D'apprentissage Automatique FCN3, Qui Peut Réaliser Une Prévision Sur 15 Jours En 1 Minute Et Prend En Charge L'inférence Ultra-rapide Sur Une Seule Carte.
Depuis sa conception et son développement progressif au XXe siècle, la prévision numérique du temps (PNT) a révolutionné notre compréhension et notre prévision des phénomènes atmosphériques. Les premiers progrès de la PNT ont été freinés par les limitations des performances des ordinateurs. Il a fallu attendre les avancées technologiques des années 1950 pour que les expériences de PNT connaissent leurs premiers succès. Dans les années 1970, avec la puissance croissante des supercalculateurs, la PNT a commencé à être largement utilisée en milieu opérationnel. Aujourd'hui, l'optimisation continue de la modélisation mathématique, l'augmentation spectaculaire de la puissance de calcul et les progrès constants des technologies d'assimilation des données ont fait de la PNT un outil indispensable dans de nombreux domaines, notamment la prévision météorologique, la prévention des catastrophes, la gestion de l'énergie et la recherche climatique.
Cependant, les modèles NWP traditionnels ont toujours été confrontés à de sérieux défis.Parce qu'il est basé sur la résolution numérique des équations de la mécanique des fluides et de la thermodynamique, la quantité de calcul est extrêmement importante.Lorsqu'il s'agit de prévisions à haute résolution et de prévisions d'ensemble à grande échelle, le coût de calcul des modèles NWP traditionnels augmente considérablement, ce qui rend difficile de répondre aux besoins de prévisions d'ensemble probabilistes rapides, précises et à grande échelle, ce qui limite sérieusement son expansion future dans les applications pratiques.
Pour résoudre ces problèmes, une équipe de recherche conjointe de NVIDIA, du Lawrence Berkeley National Laboratory, de l'Université de Californie à Berkeley et du California Institute of Technology,Présentation de FourCastNet 3 (FCN3), un système de prévision météorologique basé sur l'apprentissage automatique probabiliste qui combine le traitement du signal sphérique avec un cadre d'ensemble de Markov caché.
La capacité de prévision du modèle dépasse la norme d'or traditionnelle du NWP IFS-ENS et est comparable au modèle ML probabiliste leader GenCast dans les prévisions à moyen terme, avec une résolution temporelle deux fois supérieure.Basé sur un seul GPU NVIDIA H100, une prévision météorologique sur 15 jours peut être réalisée en 60 secondes.Sa vitesse est 8 fois supérieure à celle de GenCast et 60 fois supérieure à celle d'IFS-ENS. Il prend en charge l'inférence ultra-rapide sur une seule carte et peut générer des prévisions mondiales sur 60 jours, avec une résolution de 0,25° et un intervalle de 6 heures en 4 minutes.
Les résultats de recherche associés ont été publiés sur arXiv sous le titre « FourCastNet 3 : une approche géométrique des prévisions météorologiques probabilistes par apprentissage automatique à grande échelle ».
Adresse du document :
https://arxiv.org/pdf/2507.12144
Suivez le compte officiel et répondez « FCN3 » pour obtenir le PDF complet
Autres articles sur les frontières de l'IA : https://go.hyper.ai/owxf6
L'ensemble de données ERA5, le support principal de la formation FourCastNet 3
Les données de formation de base de FourCastNet 3 (FCN3) proviennent de l'ensemble de données ERA5.Il s'agit d'une réanalyse horaire de l'état de l'atmosphère terrestre, réalisée sur plusieurs décennies par le Centre européen pour les prévisions météorologiques à moyen terme (CEPMMT). ERA5 utilise un système d'assimilation variationnelle quadridimensionnel pour intégrer les données d'observation provenant de diverses sources depuis 1979 (radiosondes, satellites, avions, stations terrestres et bouées) aux états du modèle IFS. Cela produit un champ atmosphérique global avec une résolution spatiale de 0,25° × 0,25° (représenté sur une grille de latitude et de longitude de 721 × 1 440), totalisant environ 39,5 To de données.
Un avantage significatif d’ERA5 est que son processus de réanalyse est toujours basé sur le même cycle IFS (comme CY41R2 et les configurations fixes ultérieures).Cela lui permet de maintenir une cohérence dynamique sur l'axe du temps, évitant ainsi efficacement la dérive climatique causée par les mises à niveau du modèle dans l'analyse commerciale.Cela fournit une référence reproductible et traçable pour l'« atmosphère réelle » des modèles d'apprentissage automatique. De plus, en intégrant plusieurs sources de données et en tenant pleinement compte de leurs estimations d'incertitude respectives, cette méthode permet de caractériser de manière cohérente l'histoire atmosphérique de la Terre, ce qui en fait une cible idéale pour les modèles d'apprentissage automatique afin d'approximer la dynamique atmosphérique à l'échelle planétaire.
Pour entraîner FCN3, les chercheurs ont sélectionné 72 variables d'ERA5, couvrant sept variables de surface et cinq variables atmosphériques sur 13 surfaces isobares. Bien que le modèle ait finalement été entraîné sur un intervalle de six heures, des données d'échantillonnage horaire de 1980 à 2018 ont été utilisées pour maximiser la taille de l'ensemble de données et améliorer la capacité de généralisation du modèle.
L'ensemble de données est clairement divisé en trois parties :La période 1980-2016 constitue l'ensemble d'entraînement, la période 2017 l'ensemble de test et la période 2018-2021 l'ensemble de validation indépendant (tous les indicateurs rapportés sont calculés sur l'ensemble de validation 2020). Cette division permet d'éviter efficacement les fuites temporelles.
Avant la formation, les données doivent être normalisées :Les entrées et les sorties sont normalisées par le score z ou le min-max, et moyennées sur une surface sphérique. Les variables liées à la vapeur d'eau sont ramenées à [0, 1] par normalisation min-max afin de satisfaire à la contrainte de non-négativité. Les champs de vent sont supposés avoir une moyenne nulle et normalisés par l'écart type de la vitesse totale du vent afin de préserver les informations sur la direction du vecteur. La constante de normalisation est calculée en effectuant d'abord la moyenne spatiale sur la sphère, puis la moyenne temporelle sur l'ensemble d'apprentissage.
C'est cet ensemble de données soigneusement sélectionné, divisé et traité qui fournit une base solide à FCN3 pour apprendre l'évolution probabiliste de l'atmosphère mondiale de bout en bout sur plus de 1 000 GPU, garantissant une formation efficace du modèle et des prévisions précises.
Système de prévision météorologique probabiliste par apprentissage automatique FourCastNet 3
FourCastNet 3 (FCN3) est un modèle probabiliste composé d'un encodeur, d'un décodeur et de 8 blocs d'opérateurs neuronaux.Sur la base du cadre du modèle de Markov caché, étant donné l'état atmosphérique de la grille de 0,25° uₙ à un certain moment tₙ, le modèle peut prédire l'état uₙ₊₁=F_θ(uₙ, tₙ, zₙ) 6 heures plus tard, où le caractère aléatoire est introduit par le vecteur de bruit aléatoire (variables de bruit) zₙ - zₙ provient de multiples processus de diffusion sphérique avec différentes échelles spatio-temporelles, capturant ainsi l'incertitude de l'évolution atmosphérique.
En termes d'architecture de modèle, FCN3 adopte une conception d'opérateur neuronal sphérique, dont le cœur est la convolution de groupe sphérique locale et globale - c'est-à-dire une convolution qui maintient l'équivariance sous l'action du groupe de rotation SO(3).Parmi eux, le noyau de convolution global est paramétré dans le domaine spectral, à l'aide du théorème de convolution sphérique et de la transformée harmonique sphérique, similaire à la méthode pseudo-spectrale classique ; la convolution locale est basée sur le cadre de convolution discrète-continue (DISCO), qui utilise l'intégration numérique pour approximer la convolution du domaine continu, prend en charge les filtres anisotropes et est plus conforme aux caractéristiques géométriques des phénomènes atmosphériques.
L'architecture globale est divisée en encodeur, processeur et décodeur.L'encodeur sous-échantillonne le signal d'entrée/sortie 721×1440 en une grille gaussienne 360×720 via une couche de convolution sphérique locale, avec une dimension d'inclusion de 641 ; le processeur est constitué de plusieurs blocs d'opérateurs neuronaux sphériques utilisant la structure ConvNeXt. Les expériences montrent que la capacité de prédiction est optimale lorsque quatre blocs locaux sont associés à un bloc global, et que la normalisation de couche est omise afin de conserver la valeur absolue du processus physique ; le décodeur combine une interpolation sphérique bilinéaire avec un suréchantillonnage par convolution sphérique locale pour restaurer la résolution d'origine et supprimer le repliement.
Il convient de noter que contrairement à la plupart des modèles météorologiques d’apprentissage automatique qui prédisent le « biais » (la différence entre la prédiction et l’entrée),FCN3 prédit directement l'état au moment suivant, supprimant efficacement les artefacts haute fréquence.De plus, l'encodeur et le décodeur ne se mélangent pas entre les canaux, et le canal de vapeur d'eau est traité par une fonction d'activation de sortie spline lisse pour garantir des valeurs positives et réduire le bruit haute fréquence.
La représentation interne de FCN3 étant volumineuse, la mémoire d'un seul GPU est difficile à gérer. De plus, le déploiement autorégressif nécessite le stockage simultané de plusieurs résultats de calcul, ce qui sollicite fortement la mémoire. Pour cette raison, comme illustré dans la figure ci-dessous :L'équipe de recherche a adopté une stratégie hybride parallèle pour obtenir une formation évolutive :D'une part, nous nous appuyons sur le parallélisme des modèles spatiaux (parallélisme de domaine) issu des méthodes numériques traditionnelles. Grâce à la décomposition spatiale de domaine, nous partitionnons simultanément le modèle et les données sur différents GPU, ce qui nécessite la réécriture de tous les algorithmes spatiaux en versions distribuées. D'autre part, nous intégrons le parallélisme des données, notamment le parallélisme d'ensemble et de lot. Chaque membre étant indépendant des autres avant le calcul des pertes, la communication n'est requise que pendant la phase de perte, ce qui se traduit par une efficacité extrêmement élevée. Ces fonctionnalités sont implémentées dans le framework Makani, permettant une évolutivité vers des milliers de GPU.
Le processus de formation est divisé en trois étapes :La préformation initiale était axée sur les compétences en prévision sur 6 heures. Elle a utilisé des échantillons horaires de l'ensemble d'entraînement ERA5 de 1980 à 2016 pour construire des paires entrée-cible sur 6 heures, commençant chaque heure UTC. L'entraînement a été réalisé sur 1 024 H100 sur un supercalculateur NVIDIA Eos, avec une taille de lot et une taille d'ensemble de 16, pour 208 320 étapes, sur une durée de 78 heures.
La deuxième étape de pré-formation était basée sur un champ initial de 6 heures avec un déploiement autorégressif en 4 étapes, et a été formée pendant 5 040 étapes (réduisant le taux d'apprentissage toutes les 840 étapes) sur un système NERSC Perlmutter avec 512 A100, ce qui a pris 15 heures.
La phase de réglage fin a duré huit heures, couvrant six heures d'échantillons de 2012 à 2016, et a été réalisée sur 256 GPU H100 du système Eos. Cela a permis de corriger une éventuelle dérive de distribution et d'améliorer les performances sur les données récentes. En raison de la limitation de 80 Go de mémoire vidéo sur une seule carte graphique, l'apprentissage a utilisé un découpage spatialement parallèle des données et du modèle. Le pré-apprentissage a été divisé en quatre étapes de découpage, et le réglage fin a été divisé en 16 étapes de découpage en raison des exigences autorégressives plus élevées. Cela a finalement permis un apprentissage efficace des modèles de grande taille.
Évaluation des performances : FCN3 surpasse largement le NWP traditionnel et rattrape les modèles de diffusion les plus avancés à un coût très faible.
Afin d'évaluer de manière exhaustive les performances de FourCastNet 3 (FCN3), l'équipe de recherche a conçu des expériences portant sur plusieurs dimensions clés, notamment la précision des prévisions, l'efficacité de calcul, l'étalonnage des probabilités et la fidélité physique. Comme le montre la figure ci-dessous, en termes d'indicateurs de performance clés, les résultats moyens du champ initial toutes les 12 heures en 2020 (hors ensemble d'entraînement) sont les suivants :Le score de probabilité gradué continu (CRPS) et l'erreur quadratique moyenne d'ensemble (RMSE) du FCN3 fonctionnent bien,Non seulement il surpasse largement la norme de référence IFS-ENS pour les prévisions météorologiques numériques physiques traditionnelles, mais l'écart avec le meilleur modèle actuel basé sur les données, GenCast, est presque négligeable.
En termes d'efficacité de calcul, grâce à la conception de génération directe des membres de l'ensemble en une seule étape,FCN3 peut réaliser une prévision de 15 jours, à intervalle de 6 heures et avec une résolution spatiale de 0,25° en seulement 60 secondes environ sur un seul GPU NVIDIA H100.En comparaison, GenCast met 8 minutes pour réaliser une prévision de même longueur (avec une résolution temporelle deux fois inférieure à celle de FCN3) sur une instance Cloud TPU v5, tandis qu'IFS prend environ une heure à une résolution opérationnelle de 9 km sur des processeurs AMD Epyc Rome 96. Si l'on ignore les différences de matériel et de résolution,FCN3 est environ 8 fois plus rapide que GenCast et environ 60 fois plus rapide que IFS-ENS.
Étant donné que le CRPS et le RMSE ne peuvent être évalués que point par point et ne permettent pas de mesurer les corrélations spatio-temporelles, l'équipe de recherche a complété la fidélité physique du modèle par des études de cas. Comme le montre la figure ci-dessous, en prenant comme exemple la tempête extratropicale Dennis, signalée à 00 UTC le 11 février 2020, les résultats des prévisions de vitesse du vent à 850 hPa et de hauteur géopotentielle à 500 hPa 48 heures avant son atterrissage en Irlande et dans les îles Britanniques montrent queFCN3 peut reproduire cet événement météorologique, et la relation de covariance entre la vitesse du vent et le champ de pression est raisonnable.La densité spectrale de puissance angulaire (PSD) de la hauteur géopotentielle de 500 hPa maintient la pente correcte ; même lorsque la période de prévision est étendue à 30 jours, le spectre de puissance angulaire ne diminue pas et la prévision conserve toujours une résolution nette.
L'analyse de la densité spectrale de puissance pour l'ensemble de l'année 2020 et son erreur relative par rapport à la vraie valeur ERA5 montre que l'erreur dans les régions à nombre d'onde élevé est toujours limitée (entre -0,2 et 0,2), grâce aux principes géométriques et de traitement du signal suivis par l'architecture du modèle, ainsi qu'à la perte CRPS qui prend en compte les distributions locales et globales.Encouragez le modèle à apprendre la bonne corrélation spatiale.
En revanche, la plupart des modèles météorologiques déterministes basés sur l'apprentissage automatique souffrent d'une atténuation significative des informations haute fréquence et de résultats de prévision ambigus. Même le modèle hybride NeuralGCM entraîné avec CRPS présente une ambiguïté significative dans les modes haute fréquence. Les modèles probabilistes GenCast et AIFS-CRPS les plus récents ne parviennent pas à conserver pleinement la forme spectrale correcte et peuvent même connaître une accumulation de modes haute fréquence, souvent précurseur d'une divergence de modèles dans les prévisions météorologiques numériques traditionnelles.
Des tests complets des spectres diagonaux, des spectres zonaux et de la cohérence physique confirment que FCN3 est un modèle météorologique qui combine une fidélité spectrale et un réalisme physique sans précédent en termes de techniques probabilistes, d'efficacité de calcul et d'échelle mondiale.Ses prévisions restent stables à l’échelle sous-saisonnière de 60 jours.Elle a ouvert la voie au développement de prévisions sous-saisonnières et de prévisions d’ensemble à grande échelle.
Densité spectrale de puissance pour l'ensemble de l'année 2020 et son erreur relative par rapport à la valeur réelle de l'ERA5
Avancées et perspectives des systèmes de prévision météorologique basés sur l'apprentissage automatique probabiliste
En fait, l’industrie mondiale, le monde universitaire et les instituts de recherche ont mené des recherches approfondies dans le domaine des systèmes de prévision météorologique basés sur l’apprentissage automatique probabiliste, et une série de résultats influents ont émergé.
GenCast, lancé par l'équipe DeepMind de Google,Référence dans son domaine, ce modèle météorologique probabiliste, basé sur le modèle de diffusion conditionnelle, permet de générer un ensemble de prévisions globales aléatoires à 15 jours en 8 minutes, avec un pas de temps de 12 heures et une résolution de 0,25°, couvrant plus de 80 variables de surface et atmosphériques.
Dans une évaluation comparative avec le meilleur système de prévision à moyen terme au monde, le système de prévision d'ensemble (ENS) du Centre européen pour les prévisions météorologiques à moyen terme (CEPMMT),GenCast surpasse TP3T dans 97,21 des 1320 mesures d'évaluation, et les distributions de prévisions marginales et conjointes qu'il génère sont plus précises.
Le modèle de prévision météorologique Aurora AI de Microsoft intègre l'apprentissage profond et la technologie de traitement de données hétérogènes à grande échelle.Il peut non seulement prédire avec précision la météo, mais après un réglage précis, il peut également être appliqué à divers domaines de surveillance de l'environnement naturel tels que les courants océaniques et la qualité de l'air.Ses données de formation sont massives, couvrant plus d’un million d’heures de données météorologiques et environnementales provenant de multiples sources, notamment des satellites, des radars, des stations météorologiques et des simulations informatiques.
Selon les données de test de l'équipe de recherche Microsoft, lors de la prévision des cyclones tropicaux mondiaux de 2022 à 2023, les performances d'Aurora en matière de prédiction de trajectoire se sont avérées largement supérieures à celles de ses concurrents et des algorithmes traditionnels d'observation et d'inférence. Aurora a également démontré une grande précision dans des scénarios environnementaux complexes tels que la prévision des vagues océaniques et de la qualité de l'air.
La recherche universitaire a également produit des résultats fructueux. De nombreuses universités ont mené des recherches approfondies sur les systèmes de prévision météorologique probabilistes basés sur l'apprentissage automatique et ont réalisé des avancées majeures. Des équipes de recherche de l'Université de Cambridge et de l'Institut Alan Turing ont adopté une approche différente en développant le système météorologique Aardvark.Il s’agit du premier système qui peut être formé et exécuté sur un ordinateur de bureau et qui peut remplacer toutes les étapes du processus de prévision météorologique par un seul modèle d’IA.La vitesse de traitement est des milliers de fois plus rapide que les méthodes traditionnelles.
Le système peut traiter efficacement des données multimodales complexes provenant de satellites, de stations météorologiques et de ballons météorologiques pour générer des prévisions mondiales à 10 jours. Sur quatre GPU NVIDIA A100, il suffit d'une seconde environ pour générer une prévision complète à partir des données d'observation.
Le système météorologique FuXi proposé par l'équipe FuXi de l'Université Fudan,Il s'agit du premier cadre mondial de prévision météorologique d'apprentissage automatique de bout en bout capable de réaliser de manière indépendante l'assimilation des données (DA) et la prévision des cycles.Il génère des prévisions fiables sur 10 jours avec une résolution de 0,25° en fusionnant des données d'observation satellitaires multi-sources. Même dans les zones peu observées comme l'Afrique centrale, ses performances surpassent même celles des prévisions à haute résolution (HRES) du Centre européen pour les prévisions météorologiques à moyen terme (CEPMMT).
Ces explorations et avancées technologiques propulsent non seulement les systèmes de prévision météorologique probabilistes basés sur l'apprentissage automatique vers une plus grande précision, une plus grande efficacité et un plus large éventail d'applications, mais fournissent également un soutien technique solide pour répondre à des enjeux mondiaux tels que le changement climatique, l'atténuation de l'impact des catastrophes météorologiques et l'optimisation de l'utilisation de l'énergie. Grâce à l'évolution continue des technologies et à l'approfondissement de la collaboration interdisciplinaire, les futurs systèmes de prévision météorologique probabilistes basés sur l'apprentissage automatique captureront avec plus de précision la dynamique complexe de l'atmosphère, constituant ainsi une défense météorologique plus robuste.
Articles de référence :