Earthformer: 地球システム予報のための空間時間トランスフォーマーの探求

従来、地球システム（例えば、気象や気候）の予報は複雑な物理モデルを用いた数値シミュレーションに依存しており、計算コストが高く、専門知識も必要とされていました。過去10年間で空間時間的な地球観測データが爆発的に増加したことで、深層学習（Deep Learning: DL）を適用するデータ駆動型モデルが様々な地球システムの予報タスクにおいて著しい可能性を示しています。トランスフォーマーは他の分野で広範な成功を収めていますが、この領域での採用は限られています。本論文では、地球システム予報向けの空間時間トランスフォーマー「Earthformer」を提案します。Earthformerは汎用的で柔軟かつ効率的な空間時間注意ブロック「Cuboid Attention」に基づいています。このアイデアはデータをキュボイドに分解し、並列にキュボイドレベルの自己注意を適用することです。これらのキュボイドはさらに一連のグローバルベクトルによって接続されます。MovingMNISTデータセットと新たに提案されたカオスN体MNISTデータセットを使用して実験を行い、キュボイド注意の有効性を検証し、Earthformerの最適な設計を見出しました。降水短時間予報とエルニーニョ/南方振動（El Niño/Southern Oscillation: ENSO）予報に関する2つの実世界ベンチマークでの実験結果から、Earthformerが最先端の性能を達成していることが示されました。コードは以下から入手可能です: https://github.com/amazon-science/earth-forecasting-transformer .