HyperAIHyperAI

Command Palette

Search for a command to run...

Earthformer: Erkundung von Space-Time-Transformern für die Vorhersage des Erdsystems

Zhihan Gao Xingjian Shi Hao Wang Yi Zhu Yuyang Wang Mu Li Dit-Yan Yeung

Zusammenfassung

Konventionell basieren Vorhersagen des Erdsystems (z.B. Wetter und Klima) auf numerischen Simulationen mit komplexen physikalischen Modellen und sind daher sowohl rechenintensiv als auch an Expertenwissen im jeweiligen Fachgebiet gebunden. Mit dem explosionsartigen Anstieg der räumlich-zeitlichen Erdbeobachtungsdaten in den letzten zehn Jahren zeigen datengesteuerte Modelle, die tiefes Lernen (Deep Learning, DL) anwenden, ein beeindruckendes Potenzial für verschiedene Vorhersageaufgaben des Erdsystems. Obwohl sich der Transformer als neues DL-Architekturmodell in anderen Bereichen großer Erfolg erfreut, wird es in diesem Bereich nur begrenzt eingesetzt. In dieser Arbeit schlagen wir Earthformer vor, einen räumlich-zeitlichen Transformer für die Vorhersage des Erdsystems. Earthformer basiert auf einem generischen, flexiblen und effizienten räumlich-zeitlichen Aufmerksamkeitsblock, dem sogenannten Cuboid Attention. Das Konzept besteht darin, die Daten in Quader zu zerlegen und parallele Quader-basierte Selbstaufmerksamkeit anzuwenden. Diese Quader werden durch eine Reihe von globalen Vektoren weiter verbunden. Wir führen Experimente mit dem MovingMNIST-Datensatz und einem neu vorgeschlagenen chaotischen N-Körper-MNIST-Datensatz durch, um die Effektivität des Cuboid Attention zu überprüfen und das optimale Design von Earthformer herauszufinden. Experimente mit zwei realen Benchmarks zur Niederschlagsvorhersage und zur Vorhersage des El Niño/Südlicher Oszillation (ENSO)-Phänomens zeigen, dass Earthformer den aktuellen Stand der Technik übertreffen kann. Der Code ist verfügbar: https://github.com/amazon-science/earth-forecasting-transformer .


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp