Tung Nguyen Tuan Pham Troy Arcomano Veerabhadra Kotamarthi Ian Foster Sandeep Madireddy Aditya Grover

要約

時間スケールにわたる正確な天気予報は、気候変動の影響を予測・軽減する上で不可欠である。近年、深層学習に基づくデータ駆動型手法は中距離予報において顕著な成果を上げているが、自己回帰的手法による誤差の蓄積のため、より長い準季節〜季節スケール（S2S）の予測では困難に直面している。本研究では、時間スケールにわたる天気予報を統合的に扱えるスケーラブルかつ精度の高い確率的モデル「OmniCast」を提案する。OmniCastは、2つの構成要素からなる。1つ目は、原始的な気象データを連続的かつ低次元の潜在空間に符号化する変分自己符号化器（VAE）モデルであり、2つ目は、初期の条件トークンを入力として、将来の潜在トークンの系列を生成する拡散に基づくトランスフォーマーモデルである。学習段階では、ランダムにマスクされた将来のトークンを用意し、条件付きトークンおよび可視トークンをもとに、各トークンごとに拡散ヘッドを用いてその分布を推定するようにモデルを訓練する。推論段階では、トランスフォーマーがランダムに選ばれたトークンのサブセットを反復的に非マスクすることで、将来の全トークン系列を生成する。空間と時間にわたるこの統合的なサンプリングにより、自己回帰的手法に起因する誤差の累積を緩和する。低次元の潜在空間により、将来の潜在状態の長時間系列のモデリングが可能となり、トランスフォーマーは初期条件を超えた気象動力学を学習できる。OmniCastは中距離スケールでは最先端の確率的手法と競合する性能を発揮しつつ、10〜20倍の高速性を実現しており、準季節〜季節スケールにおいて、精度、物理ベース、確率的評価指標のすべてで最先端の性能を達成している。さらに、OmniCastが最大100年先までの安定した予測軌道を生成できることを実証した。