NVIDIA/UC Berkeleyらは、15日間の予報を1分で完了し、シングルカードの超高速推論をサポートする機械学習天気予報システムFCN3を提案しました。
数値天気予報（NWP）は、20世紀に構想され、徐々に発展して以来、大気現象の理解と予測に革命をもたらしてきました。初期のNWPの進歩は、コンピュータ性能の限界によって停滞しました。1950年代にコンピュータ技術が飛躍的に進歩し、ようやくNWPの実験は成功を収めました。1970年代には、スーパーコンピュータの性能が向上し、NWPは実務の場で広く利用されるようになりました。今日では、数学モデルの継続的な最適化、計算能力の飛躍的な向上、そしてデータ同化技術の継続的な改善により、NWPは気象予報、防災、エネルギー管理、気候研究など、多くの分野で不可欠なツールとなっています。
しかし、従来のNWPモデルは常に深刻な課題に直面してきました。流体力学や熱力学の方程式の数値解法をベースとしているため、計算量が極めて多くなります。高解像度の予測や大規模なアンサンブル予測となると、従来の NWP モデルの計算コストが大幅に増加し、高速、正確、大規模な確率的アンサンブル予測のニーズを満たすことが難しくなり、実際のアプリケーションでのさらなる拡張が著しく制限されます。
これらの問題を解決するために、NVIDIA、ローレンス・バークレー国立研究所、カリフォルニア大学バークレー校、カリフォルニア工科大学の共同研究チームが、球面信号処理と隠れマルコフアンサンブルフレームワークを組み合わせた確率的機械学習天気予報システム、FourCastNet 3 (FCN3) を導入しました。
このモデルの予測能力は、従来の NWP ゴールド スタンダード IFS-ENS を上回り、時間解像度が 2 倍である中期予測では主要な確率 ML モデル GenCast に匹敵します。単一の NVIDIA H100 GPU をベースに、15 日間の天気予報を 60 秒で完了できます。速度はGenCastの8倍、IFS-ENSの60倍です。シングルカードによる超高速推論をサポートし、60日間、0.25°解像度、6時間間隔の全球予報を4分以内に生成できます。
関連の研究結果は、「FourCastNet 3: 大規模な確率的機械学習天気予報への幾何学的アプローチ」というタイトルで arXiv に掲載されました。
用紙のアドレス:
https://arxiv.org/pdf/2507.12144
公式アカウントをフォローし、「FCN3」と返信すると、PDF全文を入手できます。
AIフロンティアに関するその他の論文: https://go.hyper.ai/owxf6
FourCastNet 3トレーニングのコアサポートであるERA5データセット
FourCastNet 3 (FCN3) のコアトレーニングデータは、ERA5 データセットから取得されます。これは、ヨーロッパ中期予報センター（ECMWF）が作成した、数十年にわたる地球の大気の状態を1時間ごとに再解析したデータです。ERA5は、4次元変分同化システムを用いて、1979年以降の様々な観測源（ラジオゾンデ、衛星、航空機、地上局、ブイなど）からの観測データをIFSモデルの状態と統合します。これにより、0.25°×0.25°（721×1440の緯度経度グリッドで表現）の空間解像度を持つ全球大気場が生成され、総データ量は約39.5TBとなります。
ERA5 の大きな利点は、再解析プロセスが常に同じ IFS サイクル (CY41R2 や後続の固定構成など) に基づいていることです。これにより、時間軸上で動的な一貫性が維持され、ビジネス分析におけるモデルのアップグレードによって生じる気候ドリフトを効果的に回避できます。これは、機械学習モデルにとって再現性と追跡可能性に優れた「実大気」ベンチマークを提供します。さらに、複数のデータソースを統合し、それぞれの不確実性推定値を完全に考慮することで、地球の大気の歴史を一貫して特徴づけることができ、機械学習モデルが惑星規模の大気力学を近似するための理想的なターゲットとなります。
FCN3を学習させるため、研究者らはERA5から72個の変数を選択し、13の等圧面における7個の地表面変数と5個の大気変数を網羅しました。モデルは最終的に6時間間隔で学習されましたが、データセットのサイズを最大化し、モデルの一般化能力を向上させるため、1980年から2018年までの1時間ごとのサンプリングデータが使用されました。
データセットは明確に 3 つの部分に分かれています。1980～2016年はトレーニングセット、2017年はテストセット、2018～2021年は独立検証セットです（報告された指標はすべて2020年の検証セットに基づいて計算されています）。この分割により、時間漏れを効果的に防ぐことができます。
トレーニングの前に、データを正規化する必要があります。入力と出力はともにZスコアまたは最小最大正規化され、球面上で平均化されます。水蒸気関連変数は、非負制約を満たすために最小最大正規化を用いて[0, 1]にスケーリングされます。風速場は平均がゼロであると仮定し、ベクトル方向情報を保持するために総風速の標準偏差で正規化されます。正規化定数は、まず球面上で空間平均化し、次にトレーニングセット全体で時間平均化することで計算されます。
この慎重に選択、分割、処理されたデータセットは、FCN3 が 1,000 台以上の GPU 上で地球の大気の確率的変化をエンドツーエンドで学習するための強固な基盤を提供し、効果的なモデル トレーニングと正確な予測を保証します。
確率的機械学習天気予報システム FourCastNet 3
FourCastNet 3 (FCN3) は、エンコーダー、デコーダー、および 8 つのニューラル オペレータ ブロックで構成される確率モデルです。隠れマルコフモデルのフレームワークに基づき、特定の時間 tₙ における 0.25° グリッドの大気状態 uₙ が与えられると、モデルは 6 時間後の状態 uₙ₊₁=F_θ(uₙ, tₙ, zₙ) を予測できます。ここで、ランダム性はランダム ノイズ ベクトル (ノイズ変数) zₙ を通じて導入されます。zₙ は、異なる時空スケールを持つ複数の球面拡散プロセスから得られるため、大気の進化の不確実性が捉えられます。
モデルアーキテクチャの面では、FCN3は球面ニューラルオペレータ設計を採用しており、その中核は局所およびグローバル球面群畳み込み、つまり回転群SO(3)の作用下で等価性を維持する畳み込みである。その中で、グローバル畳み込みカーネルは、古典的な擬似スペクトル法と同様に、球面畳み込み定理と球面調和変換を利用してスペクトル領域でパラメータ化されます。一方、ローカル畳み込みは、数値積分を使用して連続領域畳み込みを近似し、異方性フィルターをサポートする、大気現象の幾何学的特性により適合した離散連続 (DISCO) 畳み込みフレームワークに基づいています。
全体的なアーキテクチャは、エンコーダ、プロセッサ、デコーダに分かれています。エンコーダは、721×1440の入出力信号を、埋め込み次元641の局所球面畳み込み層を通して360×720のガウスグリッドにダウンサンプリングします。プロセッサは、ConvNeXt構造を用いた複数の球面ニューラル演算子ブロックで構成されています。実験では、4つの局所ブロックと1つのグローバルブロックをペアにし、物理プロセスの絶対値を保持するために層の正規化を省略した場合に、予測能力が最も高くなることが示されています。デコーダは、双線形球面補間と局所球面畳み込みアップサンプリングを組み合わせることで、元の解像度を復元し、エイリアシングを抑制します。
注目すべきは、ほとんどの機械学習気象モデルが「バイアス」（予測と入力の差）を予測するのとは異なり、FCN3 は次の瞬間の状態を直接予測し、高周波アーティファクトを効果的に抑制します。さらに、エンコーダーとデコーダーの両方がチャネル間で混合せず、水蒸気チャネルは滑らかなスプライン出力活性化関数によって処理され、正の値が保証され、高周波ノイズが低減されます。
FCN3の内部表現は巨大であるため、単一のGPUメモリで処理するのは困難であり、自己回帰ロールアウトでは複数の計算結果を同時に保存する必要があり、メモリに大きな負荷がかかります。このため、下図に示すように、研究チームは、スケーラブルなトレーニングを実現するためにハイブリッド並列戦略を採用しました。一方で、従来の数値計算手法から空間モデル並列性（ドメイン並列性）を活用します。空間領域分割を用いることで、モデルとデータを複数のGPUに同時に分割するため、すべての空間アルゴリズムを分散バージョンとして書き換える必要があります。他方では、セット並列性とバッチ並列性の両方を含むデータ並列性を取り入れています。各メンバーは損失計算前は互いに独立しているため、通信は損失フェーズのみで必要となり、極めて高い効率性を実現します。これらの機能はMakaniフレームワークに実装されており、数千GPUへのスケーラビリティをサポートします。
トレーニングプロセスは 3 つの段階に分かれています。最初の事前学習は、6時間予測スキルに焦点を当てました。1980年から2016年までのERA5学習セットから1時間ごとのサンプルを用いて、UTC時間ごとに開始する6時間の入力-ターゲットペアを構築しました。学習はNVIDIA Eosスーパーコンピュータ上で1,024個のH100を用いて、バッチサイズ16、アンサンブルサイズ16で、208,320ステップ、78時間かけて実施されました。
事前トレーニングの第 2 段階は、4 ステップの自己回帰ロールアウトによる 6 時間の初期フィールドに基づいており、512 個の A100 を備えた NERSC Perlmutter システムで 5,040 ステップ (840 ステップごとに学習率を下げる) にわたってトレーニングされ、15 時間かかりました。
微調整フェーズは8時間かかり、2012年から2016年までの6時間分のサンプルを対象とし、Eosシステム上の256基のH100 GPUで実行されました。これにより、潜在的な分布ドリフトが補正され、最近のデータにおけるパフォーマンスが向上しました。1枚のグラフィックカードに搭載できるビデオメモリは80GBと限られているため、学習ではデータとモデルの空間並列スライスを採用しました。事前学習は4つのスライスステップに分割され、微調整は自己回帰要件が高いため16のスライスステップに分割されました。これにより、大規模モデルの効率的な学習が可能になりました。
性能評価: FCN3 は従来の NWP を総合的に上回り、非常に低コストで最先端の拡散モデルに追いつきます。
FourCastNet 3（FCN3）の性能を包括的に評価するため、研究チームは予測精度、計算効率、確率較正、物理的忠実度など、複数の主要な側面から実験を設計しました。下図に示すように、コア性能指標の観点から、2020年の12時間ごとの初期フィールド（トレーニングセットを除く）の平均結果は次のとおりです。FCN3の連続段階的確率スコア（CRPS）とアンサンブル平均二乗平均誤差（RMSE）は良好である。これは、従来の物理的な数値天気予報のゴールドスタンダードである IFS-ENS を総合的に上回るだけでなく、現在最も優れたデータ駆動型モデルである GenCast との差もほとんど無視できるほどです。
計算効率の点では、セットメンバーを1ステップで直接生成する設計のおかげで、FCN3 は、単一の NVIDIA H100 GPU で、15 日間、6 時間間隔、0.25° の空間解像度の予報をわずか約 60 秒で完了できます。比較すると、GenCastはCloud TPU v5インスタンスで同じ長さの予測（時間解像度はFCN3の半分）を完了するのに8分かかりますが、IFSは96個のAMD Epyc Rome CPUで9kmの運用解像度で実行するのに約1時間かかります。ハードウェアと解像度の違いを無視すれば、FCN3 は GenCast より約 8 倍、IFS-ENS より約 60 倍高速です。
CRPSとRMSEは点ごとにしか評価できず、時空間的な相関関係を測定できないことを考慮し、研究チームはケーススタディを通じてモデルの物理的な忠実度を補完しました。下の図に示すように、2020年2月11日00 UTCに報告された温帯低気圧デニスを例にとると、アイルランドとイギリス諸島への上陸48時間前の850 hPa風速と500 hPaジオポテンシャル高度の予測結果は、FCN3 はこの気象現象を再現することができ、風速と気圧場の共分散関係は妥当です。500 hPa ジオポテンシャル高度の角度パワー スペクトル密度 (PSD) は正しい傾きを維持します。予測期間が 30 日間に延長されても、角度パワー スペクトルは低下せず、予測は常に鮮明な解像度を維持します。
2020 年全体のパワー スペクトル密度と真の ERA5 値に対する相対誤差の分析により、モデル アーキテクチャが従う幾何学および信号処理の原理、およびローカル分布とグローバル分布の両方を考慮した CRPS 損失により、高波数領域の誤差は常に制限されている (-0.2 から 0.2 の間) ことがわかります。モデルが正しい空間相関を学習するように促します。
対照的に、決定論的機械学習気象モデルの多くは、高周波情報の顕著な減衰と曖昧な予測結果という問題を抱えています。CRPSを用いて学習したハイブリッドモデルNeuralGCMでさえ、高周波モードでは顕著な曖昧性を示します。最新の確率モデルGenCastとAIFS-CRPSは、正しいスペクトル形状を完全に維持できず、高周波モードの蓄積が生じることさえあります。これは、従来の数値気象予報においてパターンの発散の前兆となることがよくあります。
対角スペクトル、帯状スペクトル、物理的一貫性の包括的なテストにより、FCN3 は、確率的手法、計算効率、地球規模の点で前例のないスペクトル忠実度と物理的リアリズムを兼ね備えた気象モデルであることが確認されました。60 日間の季節内スケールでは予測は安定しています。これにより、季節ごとの予報や大規模なアンサンブル予報の開発への道が開かれました。
2020年全体のパワースペクトル密度とERA5の真値に対する相対誤差
確率的機械学習天気予報システムのブレークスルーと展望
実際、世界中の産業界、学界、研究機関が確率的機械学習天気予報システムの分野で徹底的な研究を行っており、一連の影響力のある成果が出ています。
GoogleのDeepMindチームが立ち上げたGenCastは、この分野のベンチマークである確率天気モデルは、条件付き拡散モデルに基づいており、80 を超える地表および大気の変数をカバーし、12 時間の時間ステップと 0.25° の解像度で、8 分以内に 15 日間のランダムな世界予報セットを生成できます。
世界トップクラスの中期予報システムである欧州中期予報センター（ECMWF）アンサンブル予報（ENS）との比較評価では、GenCast は 1,320 の評価指標のうち 97.21 で TP3T を上回り、生成する周辺予測分布と結合予測分布の精度も向上しました。
Microsoft の Aurora AI 天気予報モデルは、ディープラーニングと大規模な異種データ処理テクノロジを統合しています。天気を正確に予測できるだけでなく、微調整すれば海流や空気の質など、さまざまな自然環境のモニタリング分野にも応用できます。そのトレーニング データは膨大で、衛星、レーダー、気象観測所、コンピューター シミュレーションなど、複数のソースからの 100 万時間を超える気象および環境データをカバーしています。
マイクロソフト研究チームのテストデータによると、2022年から2023年にかけての世界規模の熱帯低気圧予測タスクにおいて、Auroraの軌道予測性能は業界の競合他社や従来の観測・推論アルゴリズムを総合的に上回りました。また、海洋波浪予測や大気質予測といった複雑な環境シナリオにおいても高い精度を示しました。
学術研究も実りある成果を上げています。多くの大学が確率的機械学習を用いた気象予測システムについて詳細な研究を行い、画期的な成果を上げています。ケンブリッジ大学とアラン・チューリング研究所の研究チームは、異なるアプローチを採用し、アードバーク・ウェザー・システムを開発しました。これは、デスクトップ コンピューターでトレーニングして実行でき、天気予報プロセスのすべてのステップを単一の AI モデルに置き換えることができる初のシステムです。処理速度は従来の方法に比べて数千倍高速です。
このシステムは、衛星、気象観測所、気象気球から得られるマルチモーダルで複雑なデータを効率的に処理し、10日間の世界予報を生成します。4基のNVIDIA A100 GPUでは、観測データから完全な予報を生成するのにわずか1秒しかかかりません。
復旦大学のFuXiチームが提案したFuXi天気システムこれは、データ同化 (DA) とサイクル予測を独立して完了できる、初のエンドツーエンドの機械学習による地球規模の天気予報フレームワークです。複数の衛星観測データを統合することで、0.25°の分解能で信頼性の高い10日間予報を生成します。中央アフリカなどの観測がまばらな地域でも、その性能はヨーロッパ中期予報センター（ECMWF）の高解像度予報（HRES）を凌駕します。
これらの探求とブレークスルーは、確率的機械学習気象予報システムの精度、効率、そして応用範囲の拡大を推進するだけでなく、気候変動、気象災害の影響軽減、エネルギー利用の最適化といった地球規模の課題への対応を強力に技術的に支えています。技術の継続的な進化と学際的な連携の深化により、将来の確率的機械学習気象予報システムは、大気の複雑なダイナミクスをより正確に捉え、より強固な気象防御を構築するでしょう。
参考記事：