Sélectionné Pour NeurIPS 2025, NVIDIA a Proposé Le Modèle ERDM Pour Résoudre Les Défis De Prévision À Long Terme, Et Ses Prévisions À Moyen Et Long Terme Continuent De Dominer Le Benchmark EDM.

La prévision météorologique à moyen terme (≤ 15 jours) constitue un défi majeur et de longue date pour la communauté scientifique. En tant que système chaotique typique, l'atmosphère est extrêmement sensible aux conditions initiales, et de petites erreurs peuvent être rapidement amplifiées, entraînant des écarts entre les prévisions et la réalité. Si la prévision météorologique numérique d'ensemble, qui utilise de multiples simulations de perturbations pour estimer l'incertitude, est devenue une approche courante,Cependant, ses ressources informatiques croissent de manière exponentielle avec l’amélioration des exigences de précision et de rapidité.Ce goulot d’étranglement pousse le monde universitaire à se tourner vers de nouvelles approches basées sur les données pour rechercher des avancées décisives.

Ces dernières années, des avancées en matière de modélisation générative ont apporté de nouvelles solutions à ce problème. Parmi elles, le modèle de diffusion à séquences glissantes (RSDM) est un exemple typique du modèle de diffusion.Un mécanisme de planification progressive du bruit est utilisé pour imposer un bruit plus fort à l’état de prévision à long terme.Cette approche simule l'accumulation progressive d'incertitude au fil du temps dans le monde réel, améliorant ainsi l'authenticité des prédictions. Cependant, le RSDM actuel repose toujours sur le cadre du modèle probabiliste de diffusion débruité (DDPM), et les limites de son architecture sous-jacente ont, dans une certaine mesure, limité les améliorations futures de ses performances globales.

Il convient de noter queLe modèle de diffusion élucidée (EDM) de NVIDIA, présenté dans le meilleur article de NeurIPS 2022,L'unification et l'amélioration du DDPM classique ont permis d'améliorer considérablement la stabilité de l'apprentissage et la qualité de la génération. Si des stratégies d'optimisation clés, telles que le mécanisme de pondération des pertes de temps dans EDM, peuvent être efficacement intégrées au RSDM, la précision de sa modélisation et son efficacité opérationnelle devraient être considérablement améliorées.

Sur cette base, l'équipe de recherche de NVIDIA et de l'Université de Californie à San Diego, en s'appuyant sur le cadre EDM, a systématiquement amélioré la planification du bruit, la paramétrisation du réseau de débruitage, le processus de prétraitement, la stratégie de pondération des pertes et l'algorithme d'échantillonnage pour répondre aux besoins de la modélisation de séquence, et a construit un modèle de diffusion continue élucidé amélioré (ERDM).Cette recherche vise à résoudre le problème de conception collaborative de la « planification progressive du bruit » et de la « pondération des pertes de temps ».Il offre une voie nouvelle et efficace pour la prédiction probabiliste des systèmes dynamiques chaotiques.

Les résultats de recherche pertinents sont intitulés « Modèles de diffusion continue élucidés pour les prévisions météorologiques probabilistes ».Il a été sélectionné pour NeurIPS 2025, une conférence universitaire de premier plan dans le domaine de l'intelligence artificielle.

Adresse du document :
https://doi.org/10.48550/arXiv.2506.20024
Suivez le compte officiel et répondez « ERDM » pour obtenir le PDF complet

Autres articles sur les frontières de l'IA :
https://hyper.ai/papers

Ensemble de données : données météorologiques Navier-Stokes et ERA5

Pour soutenir la formation et la validation des modèles, cette étude a sélectionné deux types d'ensembles de données de référence avec des contextes d'application clairs, correspondant respectivement à des tâches de modélisation de la dynamique des fluides et de prévision météorologique à moyen terme.

Dans les expériences de dynamique des fluides,Les chercheurs ont utilisé l’ensemble de données de référence sur la dynamique des fluides Navier-Stokes.L'ensemble de données est construit sur une grille de 221×42. Des obstacles circulaires sont placés aléatoirement dans chaque cas de simulation, modifiant ainsi la trajectoire du fluide. Afin de maintenir des conditions expérimentales cohérentes, la viscosité du fluide est fixée à 1×10⁻³ dans toutes les simulations. L'ensemble de données enregistre les principales informations physiques du mouvement du fluide, notamment les champs de vitesse dans les directions x et y, ainsi que le champ de pression. Lors de l'apprentissage et des tests du modèle, les conditions aux limites et les masques d'obstacles servent d'entrées auxiliaires pour aider le modèle à capturer avec précision les effets aux limites et l'influence des obstacles. L'objectif de la phase de test est de prédire l'évolution du fluide pour les 64 prochains pas de temps à partir d'un état initial unique.

Dans le test de référence des prévisions météorologiques à moyen terme,Les chercheurs ont utilisé l’ensemble de données de réanalyse ERA5 pourFrançais Sa résolution spatiale est de 1,5°, ce qui correspond à une taille de grille de 240×212. L'ensemble de données contient un total de 69 variables de prévision, couvrant deux types d'éléments météorologiques clés : la haute atmosphère et la surface. Les variables de la haute atmosphère comprennent la température (t), la hauteur géopotentielle (z), l'humidité spécifique (q) et les composantes u et v des champs de vent de 13 couches de pression (unité : hPa) ; les variables de surface comprennent la température à 2 m (2t), la pression moyenne au niveau de la mer (mslp) et les composantes u et v des champs de vent à 10 m de hauteur (10u et 10v). La phase d'entraînement du modèle utilise des données horaires ERA5 de 1979 à 2020 pour couvrir les caractéristiques climatiques à long terme ; la phase d'évaluation sélectionne 64 conditions météorologiques initiales différentes à 00h00 et 12h00 (UTC) en 2021 pour tester les performances de prévision à moyen terme du modèle dans différentes conditions initiales.

Modèle ERDM : Intégrer l'innovation et la conception de l'architecture de base pour offrir une nouvelle voie de modélisation des systèmes dynamiques chaotiques

La principale contribution de l'ERDM est de combiner l'idée selon laquelle « le bruit augmente progressivement avec la longueur de la prévision » dans le modèle de diffusion de séquence roulante (RSDM) avec la conception normalisée éprouvée de l'EDM.Il offre une nouvelle voie qui combine rigueur théorique et robustesse pratique pour la modélisation de systèmes dynamiques chaotiques tels que les trajectoires de mouvement des fluides et les séquences de prévisions météorologiques.

L’ERDM améliore d’abord le mécanisme de planification du bruit.Contrairement à l'ordonnancement linéaire ou cosinusoïdal traditionnel, il utilise un ordonnancement de bruit roulant adapté aux caractéristiques de la génération de séquences. Cette approche divise la fenêtre de génération en plusieurs périodes consécutives, attribuant des intensités de bruit différentes à chaque période et assurant des transitions fluides entre les périodes adjacentes. Lors de l'apprentissage, comme illustré dans la figure ci-dessous, le modèle échantillonne aléatoirement différents niveaux de bruit pour apprendre à s'adapter à divers scénarios de bruit. Lors de la génération, le bruit est progressivement atténué à partir d'un niveau initial élevé, ce qui produit des résultats clairs. L'ERDM ajuste également les paramètres de courbure clés pour mieux s'adapter aux tâches de génération de séquences, préservant ainsi des informations plus pertinentes lors du processus de débruitage.

Sur cette base,L'ERDM introduit l'équation différentielle ordinaire (EDO) du flux probabiliste,Cette équation permet de contrôler précisément l'ajout et la suppression du bruit. Elle décrit la trajectoire complète de l'évolution des données, d'un état bruité à un résultat clair, et peut être considérée comme une « carte de navigation » pour le processus de génération. Comme le montre la figure ci-dessous, lors de l'inférence, le modèle résout l'EDO de manière itérative à l'aide de méthodes numériques : les données du premier instant sont entièrement débruitées et générées comme résultat de prédiction, tandis qu'une partie du bruit est conservée aux instants restants. Un mécanisme de roulement est alors activé, utilisant ces données partiellement débruitées comme état de préordre pour la génération suivante, complété par un nouvel instant bruité, et le processus de résolution de l'EDO est répété, permettant ainsi la génération continue de longues séquences.

La formation de l'ERDM s'articule autour du réseau débruiteur.Ce réseau s'appuie sur la méthode de prétraitement standardisée d'EDM et peut traiter les données de manière adaptative en fonction du niveau de bruit à chaque instant, afin de récupérer l'information d'origine de la séquence bruitée. En termes de stratégie d'apprentissage, ERDM adopte une méthode de pondération « sensible à l'incertitude ». Cette méthode conserve la pondération conventionnelle pour stabiliser l'apprentissage, mais attribue également des pondérations plus élevées aux échantillons de bruit intermédiaires riches en informations, guidant le modèle à se concentrer sur l'apprentissage des états intermédiaires essentiels au processus de génération. Lors d'un apprentissage spécifique, le modèle part d'une séquence propre, ajoute un bruit d'intensité aléatoire, tente de restaurer les données d'origine et optimise les paramètres en comparant l'écart entre la prédiction et la valeur réelle. Des expériences ont montré que l'introduction d'une conception de bruit temporelle peut améliorer encore la stabilité des prédictions à long terme.

Afin de mieux capturer les caractéristiques dynamiques des données de séries temporelles, ERDM a optimisé la structure du débruiteur. Elle abandonne la convolution 2D, qui détruit la corrélation temporelle, et la convolution 3D, coûteuse en calculs, au profit d'une architecture hybride U-Net 2D + attention temporelle. La structure principale U-Net 2D extrait les caractéristiques spatiales de chaque instant, la couche d'attention temporelle capture les dépendances entre les instants, et les informations de bruit sont intégrées à la couche de régularisation pour réguler le comportement du réseau. Cette conception offre un équilibre entre efficacité et performance. Bien que légèrement plus complexe que la structure 2D pure, elle améliore significativement la qualité de la prédiction de séquences. De plus,L’étude a également révélé que les données de séries chronologiques pré-formation sont plus efficaces que leur ajustement ultérieur.Cela peut former une bonne synergie avec le cadre global.

Évaluation expérimentale : les performances sont comparables à celles du système de prévision météorologique le plus avancé, avec une efficacité de calcul supérieure

Pour vérifier l’efficacité de l’ERDM dans la modélisation des systèmes dynamiques chaotiques, les chercheurs ont mené une évaluation systématique axée sur les deux objectifs majeurs de la précision de la prédiction probabiliste et de la fiabilité de la quantification de l’incertitude.L’expérience utilise deux types d’indicateurs de base :Le score de probabilité graduée continue (CRPS) permet d'évaluer de manière exhaustive l'écart global entre la valeur prévue et l'observation réelle. Plus la valeur est faible, meilleure est la performance. Le ratio de compétence de dispersion (SSR) évalue la rationalité de l'estimation de l'incertitude en comparant la variance d'ensemble à l'erreur moyenne d'ensemble. Un SSR inférieur à 1 indique une sous-estimation de l'incertitude, tandis qu'un SSR supérieur à 1 indique une surestimation. Idéalement, il devrait être proche de 1.

Dans l'expérience de modélisation des fluides Navier-Stokes, les chercheurs ont utilisé des modèles de référence, dont DYffusion, et un ensemble de modèles de référence basés sur EDM. Les résultats expérimentaux montrent queL'ERDM montre des avantages significatifs dans la phase de prédiction tardive, avec son CRPS s'améliorant d'environ 50% par rapport à la meilleure base de référence EDM.Bien que les modèles EDM aient initialement obtenu des résultats légèrement supérieurs, leurs erreurs ont augmenté plus rapidement au fil du temps. DYffusion n'a pas surpassé la référence EDM tout au long de la prévision. Du point de vue de l'étalonnage des incertitudes, ERDM a systématiquement surpassé la référence EDM avec une sous-dispersion significative, mais l'étude a révélé que cette dernière peinait à améliorer l'étalonnage tout en maintenant les performances du CRPS.

Pour la tâche plus complexe de prévision météorologique à moyen terme ERA5, les références de l'institut incluent des références EDM internes et des modèles économiques externes tels qu'IFS ENS, NeuralGCM ENS et Graph-EFM. En termes d'efficacité de calcul,ERDM ne nécessite que 4 GPU H100 pour 5 jours de formation, ce qui est bien inférieur aux autres méthodes basées sur les données.Les résultats expérimentaux montrent qu'ERDM est systématiquement supérieur à la référence EDM pour les indicateurs CRPS, l'amélioration maximale atteignant 10%. Il surpasse également Graph-EFM. Comparé à IFS ENS et NeuralGCM, ERDM est compétitif, mais reste légèrement inférieur à IFS ENS pour la prédiction à court terme de certaines variables. L'analyse montre que cela est lié à la manière dont le champ initial est construit, et qu'il peut être encore amélioré ultérieurement grâce à la stratégie d'initialisation d'IFS ENS. Il est intéressant de noter qu'ERDM et IFS ENS affichent conjointement les meilleures performances en calibration probabiliste, tandis que les autres modèles pilotés par les données présentent généralement des problèmes de sous-diffusion à court terme. En termes de cohérence physique,Le spectre de puissance prévu sur 14 jours généré par ERDM est très cohérent avec l'IFS ENS.Il démontre un réalisme physique supérieur à la plupart des modèles d’apprentissage automatique, tandis que NeuralGCM présente une sous-estimation énergétique évidente dans les bandes de fréquences moyennes et hautes.

Une nouvelle ère de prédiction du chaos : construire un nouveau pont entre certitude et hasard

Dans le domaine de la modélisation des systèmes dynamiques chaotiques et de la prédiction séquentielle, domaine sur lequel se concentre l'ERDM, les milieux universitaires et commerciaux du monde entier encouragent sans cesse des avancées innovantes dans ce domaine grâce à l'intégration interdisciplinaire et à la mise en œuvre de technologies. Ces explorations s'inscrivent non seulement dans la logique fondamentale de « combiner les priors physiques et les données », mais repoussent également les limites d'application de la prédiction probabiliste et de la quantification des incertitudes.

D'un côté, les avancées académiques se concentrent sur des innovations profondes en dynamique des fluides et en architecture de modèles de diffusion. Google DeepMind a collaboré avec des équipes de l'Université de New York, de l'Université Stanford et d'autres institutions pour développerCombinaison d'un réseau neuronal d'information physique (PINN) avec un optimiseur Gauss-Newton de haute précision,Pour la première fois, de nouvelles singularités instables ont été systématiquement découvertes dans trois types d’équations fluides, dont les équations de Navier-Stokes, offrant un nouveau paradigme pour explorer le paysage complexe des équations aux dérivées partielles non linéaires.
Titre de l'article :Découverte de singularités instables
Adresse du document :https://go.hyper.ai/iGh6t

Au niveau de l'optimisation de l'architecture du modèle de diffusion,Le cadre de force de diffusion (DF) proposé par l'équipe MIT CSAIL combine les avantages du modèle de diffusion à séquence complète avec la prédiction autorégressive.En attribuant un niveau de bruit indépendant à chaque jeton et en adoptant une architecture causale, la stabilité et la flexibilité de la génération de séquences longues sont améliorées. La stratégie de guidage arborescent de Monte-Carlo (MCTG) peut améliorer considérablement l'efficacité d'échantillonnage des trajectoires à forte récompense et a fait ses preuves dans des domaines tels que la planification robotique et la prédiction vidéo.

Titre de l'article :Forçage de diffusion : la prédiction du jeton suivant rencontre la diffusion de séquence complète
Adresse du document :https://arxiv.org/pdf/2407.01392

d'autre part,Les pratiques innovantes dans le monde des affaires sont davantage axées sur la mise en œuvre de la technologie basée sur des scénarios et sur l’amélioration de son efficacité.Ce modèle a démontré son utilité significative pour les prévisions météorologiques et la prédiction de séries multi-domaines. Huawei, en collaboration avec le Bureau météorologique de Chongqing, a lancé le modèle de prévision météorologique IA « Tian Zi 12h » (V2.0). Basé sur l'architecture imbriquée du modèle à grande échelle Pangu, il intègre des mosaïques radar minute par minute et des données de terrain de haute précision. Grâce à l'optimisation spatio-temporelle de la pondération, il porte la résolution des prévisions à 1 km/heure. Lors de l'orage de Chongqing, il a représenté avec précision les bandes de pluie et l'intensité des précipitations. Dans le domaine de la prédiction de séries générales, le modèle DeepAR d'Amazon, utilisant une architecture LSTM et une stratégie d'entraînement conjoint, permet une prédiction probabiliste de séries chronologiques multivariées. La distribution de probabilité générée quantifie efficacement l'incertitude et a été déployée dans des scénarios tels que la gestion des stocks de détail et la prévision de la consommation d'énergie. Il améliore la précision des prévisions en capturant les corrélations entre les séries chronologiques.

À l'avenir, avec l'évolution des modèles fondamentaux et l'intégration des connaissances interdisciplinaires, l'ERDM et les approches techniques similaires établiront progressivement un lien entre les équations déterministes et l'incertitude du travail réel. Elles serviront non seulement aux tâches de calcul scientifique traditionnelles telles que la prévision météorologique et la simulation des fluides, mais fourniront également une nouvelle génération de modèles probabilistes pour les problèmes complexes de prise de décision séquentielle tels que la planification robotique, l'ordonnancement énergétique et même la biodynamie.

Liens de référence :
1.https://mp.weixin.qq.com/s/v7uuViL8gF0-5dNEGBR_aw
2.https://mp.weixin.qq.com/s/e5WVUW-HtoOPj4Kef9JwGA
3.https://mp.weixin.qq.com/s/58ZxgFiXqT4efdfygm_t9g