Earthformer : Exploration des transformateurs spatio-temporels pour la prévision du système terrestre

Traditionnellement, les prévisions du système terrestre (par exemple, la météo et le climat) reposent sur des simulations numériques utilisant des modèles physiques complexes, ce qui en fait des processus à la fois coûteux en termes de calcul et exigeants en matière d'expertise dans le domaine. Avec l'essor exponentiel des données d'observation spatio-temporelles de la Terre au cours de la dernière décennie, les modèles basés sur les données qui appliquent l'apprentissage profond (Deep Learning, DL) montrent un potentiel impressionnant pour diverses tâches de prévision du système terrestre. Bien que le Transformer, une architecture DL émergente, ait connu un succès considérable dans d'autres domaines, son adoption reste limitée dans ce secteur. Dans cet article, nous proposons Earthformer, un Transformer spatio-temporel pour la prévision du système terrestre. Earthformer repose sur un bloc d'attention spatio-temporelle générique, flexible et efficace appelé Cuboid Attention. L'idée est de décomposer les données en cuboïdes et d'appliquer l'auto-attention au niveau des cuboïdes en parallèle. Ces cuboïdes sont ensuite connectés par un ensemble de vecteurs globaux. Nous menons des expériences sur l'ensemble de données MovingMNIST et sur un nouvel ensemble de données chaotique N-body MNIST proposé récemment pour vérifier l'efficacité de l'attention cuboïdale et déterminer la meilleure conception d'Earthformer. Les expériences réalisées sur deux benchmarks réels concernant la prévision à court terme des précipitations et la prévision de l'El Niño/Oscillation australe (ENSO) montrent qu'Earthformer atteint des performances de pointe. Le code est disponible : https://github.com/amazon-science/earth-forecasting-transformer .