Tung Nguyen Tuan Pham Troy Arcomano Veerabhadra Kotamarthi Ian Foster Sandeep Madireddy Aditya Grover

Résumé

Une prévision météorologique précise à toutes les échelles de temps est essentielle pour anticiper et atténuer les impacts du changement climatique. Les méthodes récentes fondées sur les données et basées sur l’apprentissage profond ont connu un succès notable à l’échelle moyenne, mais peinent à long terme, notamment aux échelles sous-saisonnières à saisonnières (S2S), en raison de l’accumulation d’erreurs inhérente à leur approche autoregressive. Dans ce travail, nous proposons OmniCast, un modèle probabiliste à la fois évolutif et performant, qui unifie la prévision météorologique à toutes les échelles de temps. OmniCast se compose de deux composants : un modèle VAE (variational auto-encoder) qui encode les données météorologiques brutes dans un espace latent continu et de faible dimension, et un modèle transformer basé sur une méthode de diffusion qui génère une séquence de jetons latents futurs à partir de jetons conditionnels initiaux. Pendant l’entraînement, nous masquons aléatoirement des jetons futurs et entraînons le transformer à estimer leur distribution à partir des jetons conditionnels et visibles, en utilisant une tête de diffusion par jeton. Pendant l’inférence, le transformer génère la séquence complète des jetons futurs en démasquant itérativement des sous-ensembles aléatoires de jetons. Ce processus d’échantillonnage conjoint dans l’espace et le temps permet de limiter l’accumulation d’erreurs caractéristique des approches autoregressives. L’espace latent de faible dimension permet de modéliser des séquences longues d’états latents futurs, permettant ainsi au transformer d’apprendre les dynamiques météorologiques au-delà des conditions initiales. OmniCast se distingue par une performance compétitive par rapport aux méthodes probabilistes de pointe à l’échelle moyenne, tout en étant 10 à 20 fois plus rapide, et atteint des performances de pointe à l’échelle sous-saisonnière à saisonnière, selon des critères d’exactitude, de cohérence physique et de qualité probabiliste. En outre, nous démontrons que OmniCast est capable de produire des trajectoires stables jusqu’à 100 ans à l’avance.