Earthformer: Erkundung von Space-Time-Transformern für die Vorhersage des Erdsystems

Konventionell basieren Vorhersagen des Erdsystems (z.B. Wetter und Klima) auf numerischen Simulationen mit komplexen physikalischen Modellen und sind daher sowohl rechenintensiv als auch an Expertenwissen im jeweiligen Fachgebiet gebunden. Mit dem explosionsartigen Anstieg der räumlich-zeitlichen Erdbeobachtungsdaten in den letzten zehn Jahren zeigen datengesteuerte Modelle, die tiefes Lernen (Deep Learning, DL) anwenden, ein beeindruckendes Potenzial für verschiedene Vorhersageaufgaben des Erdsystems. Obwohl sich der Transformer als neues DL-Architekturmodell in anderen Bereichen großer Erfolg erfreut, wird es in diesem Bereich nur begrenzt eingesetzt. In dieser Arbeit schlagen wir Earthformer vor, einen räumlich-zeitlichen Transformer für die Vorhersage des Erdsystems. Earthformer basiert auf einem generischen, flexiblen und effizienten räumlich-zeitlichen Aufmerksamkeitsblock, dem sogenannten Cuboid Attention. Das Konzept besteht darin, die Daten in Quader zu zerlegen und parallele Quader-basierte Selbstaufmerksamkeit anzuwenden. Diese Quader werden durch eine Reihe von globalen Vektoren weiter verbunden. Wir führen Experimente mit dem MovingMNIST-Datensatz und einem neu vorgeschlagenen chaotischen N-Körper-MNIST-Datensatz durch, um die Effektivität des Cuboid Attention zu überprüfen und das optimale Design von Earthformer herauszufinden. Experimente mit zwei realen Benchmarks zur Niederschlagsvorhersage und zur Vorhersage des El Niño/Südlicher Oszillation (ENSO)-Phänomens zeigen, dass Earthformer den aktuellen Stand der Technik übertreffen kann. Der Code ist verfügbar: https://github.com/amazon-science/earth-forecasting-transformer .