NeurIPS 2025 に選ばれた NVIDIA は、長期予測の課題を解決するために ERDM モデルを提案し、その中長期予測は EDM ベンチマークをリードし続けています。

中期気象予報（15日以内）は、科学界にとって長年にわたる大きな課題です。典型的なカオス系である大気は初期条件に非常に敏感であり、小さな誤差が急速に増幅され、予報が現実から乖離する可能性があります。複数の摂動シミュレーションを用いて不確実性を推定するアンサンブル数値気象予報は、現在主流のアプローチとなっていますが、ただし、精度と適時性の要件が向上するにつれて、コンピューティング リソースは飛躍的に増加します。このボトルネックにより、学界は突破口を模索するために新たなデータ主導のアプローチを採用するようになりました。

近年、生成モデリングの飛躍的な進歩により、この問題に対する新たな解決策が提示されました。その中でも、ローリングシーケンス拡散モデル（RSDM）は、拡散モデルの代表的な例です。プログレッシブ ノイズ スケジューリング メカニズムは、長期予測状態に強力なノイズを課すために使用されます。このアプローチは、現実世界における不確実性の時間の経過に伴う漸進的な蓄積をシミュレートし、予測の信頼性を効果的に向上させます。しかしながら、現在のRSDMは依然として以前のノイズ除去拡散確率モデル（DDPM）のフレームワークに基づいて構築されており、その基盤となるアーキテクチャの限界により、モデル全体のパフォーマンスのさらなる向上がある程度制限されています。

注目に値するのは、NVIDIAのElucidated Diffusion Model (EDM)は、NeurIPS 2022の最優秀論文として発表されました。従来のDDPMを統合・改良することで、学習の安定性と生成品質が大幅に向上しました。EDMの時間損失重み付けメカニズムなどの主要な最適化戦略をRSDMに効果的に統合できれば、モデリング精度と運用効率が大幅に向上すると期待されます。

これに基づき、NVIDIAとカリフォルニア大学サンディエゴ校の研究チームは、EDMフレームワークに基づいて、ノイズスケジューリング、ノイズ除去ネットワークのパラメータ化、前処理プロセス、損失重み付け戦略、サンプリングアルゴリズムを体系的に改善し、シーケンスモデリングのニーズを満たし、強化されたERDM（Elucidated Rolling Diffusion Model）を構築しました。この研究は、「プログレッシブノイズスケジューリング」と「時間損失重み付け」の共同設計問題を克服することに焦点を当てています。これは、カオス的動的システムの確率的予測のための新しい効率的な方法を提供します。

関連する研究成果のタイトルは「確率的天気予報のためのローリング拡散モデルの解明」です。人工知能分野のトップ学術会議「NeurIPS 2025」に選出されました。

用紙のアドレス:
https://doi.org/10.48550/arXiv.2506.20024
公式アカウントをフォローし、「ERDM」と返信すると、完全なPDFを入手できます。

AIフロンティアに関するその他の論文:
https://hyper.ai/papers

データセット: ナビエ・ストークスおよびERA5気象データ

モデルのトレーニングと検証をサポートするために、本研究では、流体力学モデリングと中期天気予報のタスクにそれぞれ対応する、明確なアプリケーション背景を持つ 2 種類のベンチマーク データセットを選択しました。

流体力学実験では、研究者らはナビエ・ストークス流体力学ベンチマークデータセットを使用しました。データセットは221×42のグリッド構造上に構築されています。各シミュレーションケースでは、円形の障害物がランダムに配置され、流体の経路を変化させます。実験条件の一貫性を維持するため、すべてのシミュレーションにおける流体の粘性は1×10⁻³に固定されています。データセットは、x方向およびy方向の速度場、圧力場など、流体運動の核となる物理場情報を記録します。モデルのトレーニングおよびテスト中は、境界条件と障害物マスクが補助入力として機能し、モデルが境界効果と障害物の影響を正確に捉えるのに役立ちます。テストフェーズの目標は、単一の初期状態に基づいて、次の64タイムステップにおける流体の進化プロセスを予測することです。

中期天気予報ベンチマークテストでは、研究者らはERA5再解析データセットを使用して空間解像度は 1.5° で、グリッド サイズは 240×212 に相当します。データセットには合計 69 個の予測変数が含まれており、上層大気と地表という 2 種類の主要な気象要素をカバーしています。上層大気の変数には、気温 (t)、ジオポテンシャル高度 (z)、比湿 (q)、13 の圧力層の風の場の u および v 成分 (単位: hPa) が含まれ、地表変数には、2 メートル気温 (2t)、平均海面気圧 (mslp)、10 メートルの高さでの風の場の u および v 成分 (10u および 10v) が含まれます。モデルのトレーニング フェーズでは、1979 年から 2020 年までの 1 時間ごとの ERA5 データを使用して長期的な気候特性をカバーします。評価フェーズでは、2021 年の 00:00 と 12:00 (UTC) の 64 個の異なる初期気象条件を選択して、異なる初期条件下でのモデルの中期予測パフォーマンスをテストします。

ERDMモデル: イノベーションとコアアーキテクチャ設計を統合し、カオス動的システムをモデリングするための新しい方法を提供する

ERDM の中心的な貢献は、ローリング シーケンス拡散モデル (RSDM) の「予測の長さに応じてノイズが徐々に増加する」という考え方と、EDM の実証済みの正規化設計を組み合わせることです。これは、流体の運動軌跡や天気予報シーケンスなどのカオス的動的システムをモデル化するための理論的な厳密さと実用的な堅牢性を組み合わせた新しい方法を提供します。

ERDM はまず、ノイズ スケジューリング メカニズムを改善します。従来の線形スケジューリングやコサインスケジューリングとは異なり、ERDMはシーケンス生成の特性に合わせて調整されたローリングノイズスケジュールを採用しています。このアプローチでは、生成ウィンドウを複数の連続した期間に分割し、各期間に異なるノイズ強度を割り当て、隣接する期間間のスムーズな遷移を実現します。トレーニング中、下図に示すように、モデルはさまざまなノイズレベルをランダムにサンプリングし、様々なノイズシナリオへの適応を学習します。生成中は、ノイズは高い初期レベルから徐々に減衰し、最終的にクリアな結果を出力します。ERDMはまた、シーケンス生成タスクにより適したように主要な曲率パラメータを調整することで、ノイズ除去プロセス中により効果的な情報を保持します。

これを踏まえて、ERDMは確率フロー常微分方程式（ODE）を導入し、この方程式は、ノイズの付加と除去を精密に制御するために使用されます。これは、ノイズの多い状態から明確な結果に至るまでのデータ進化の完全な軌跡を記述し、生成プロセスの「ナビゲーションマップ」と考えることができます。下図に示すように、推論中、モデルは数値的手法を用いて常微分方程式を反復的に解きます。最初の瞬間のデータは完全にノイズ除去され、予測結果として出力されますが、残りの瞬間のデータはノイズが一部保持されます。次に、ローリングメカニズムが起動し、この部分的にノイズ除去されたデータを次の世代の事前順序状態として使用し、新たなノイズ瞬間を追加して常微分方程式の解法プロセスを繰り返します。これにより、長いシーケンスの連続的な生成が実現されます。

ERDM のトレーニングは、ノイズ除去ネットワークを中心に行われます。このネットワークは、EDMの標準化された前処理手法を採用し、ノイズの多いシーケンスから元の情報を復元することを目指し、各瞬間のノイズレベルに応じて適応的にデータを処理できます。学習戦略においては、ERDMは「不確実性を考慮した」重み付け手法を採用しています。この手法は、従来の重み付けを維持して学習を安定化させるだけでなく、より豊富な情報を持つ中間ノイズサンプルに高い重みを与えることで、モデルが生成プロセスに重要な中間状態の学習に集中するように導きます。具体的な学習では、モデルはクリーンなシーケンスから開始し、ランダムな強度ノイズを追加して元のデータの復元を試み、予測値と真値との差を比較することでパラメータを最適化します。実験では、時間依存のノイズ設計を導入することで、長期予測の安定性をさらに向上できることが示されています。

時系列データの動的な特性をより適切に捉えるために、ERDMはノイズ除去構造をさらに最適化しました。時間相関を破壊する2D畳み込みと計算コストの高い3D畳み込みを廃止し、代わりに2D U-Net + Temporal Attentionのハイブリッドアーキテクチャを採用しました。2D U-Netバックボーンは各瞬間の空間特徴を抽出し、Temporal Attention層は瞬間間の依存関係を捉え、ノイズ情報は正則化層に埋め込まれてネットワークの挙動を調整します。この設計は効率と性能のバランスをとっています。純粋な2D構造よりも若干複雑ですが、シーケンス予測の品質を大幅に向上させます。さらに、この研究では、時系列データを事前にトレーニングしておく方が、後から調整するよりも効果的であることも判明しました。全体のフレームワークと良好な相乗効果を生み出すことができます。

実験評価：パフォーマンスは最先端の天気予報システムに匹敵し、計算効率も向上

カオス的動的システムのモデリングにおける ERDM の有効性を検証するために、研究者らは、確率的予測精度と不確実性定量化の信頼性という 2 つの主要目標に焦点を当てた体系的な評価を実施しました。この実験では、次の 2 種類のコア指標を使用します。連続段階的確率スコア（CRPS）は、予測値と実際の観測値との間の全体的な偏差を総合的に評価するために使用されます。値が低いほど、パフォーマンスは良好です。スプレッドスキル比（SSR）は、アンサンブル分散とアンサンブル平均誤差を比較することで、不確実性推定値の合理性を判断します。SSRが1未満の場合は不確実性が過小評価されていることを示し、1を超える場合は過大評価されていることを示します。理想的には、SSRは1に近づくべきです。

ナビエ・ストークス流体モデリング実験では、研究者らはDYffusionを含むベンチマークモデルとEDMに基づいて構築された一連のベンチマークモデルを使用しました。実験結果は、ERDM は予測後期段階で大きな利点を示し、最良の EDM ベースラインと比較して CRPS が約 50% 改善されています。EDMモデルは当初はわずかに優れたパフォーマンスを示しましたが、時間の経過とともに誤差が急速に増加しました。DYffusionは予測期間全体を通してEDMベンチマークを上回ることができませんでした。不確実性キャリブレーションの観点から見ると、ERDMは顕著な過小分散を伴いながらも一貫してEDMベンチマークを上回りましたが、本研究では、後者はCRPSのパフォーマンスを維持しながらキャリブレーションを改善するのに苦労していることが明らかになりました。

より難易度の高いERA5中期気象予報タスクでは、研究所のベンチマークには、内部EDMベンチマークと、IFS ENS、NeuralGCM ENS、Graph-EFMなどの外部ビジネスモデルが含まれています。計算効率の点では、ERDM では、5 日間のトレーニングに必要な H100 GPU は 4 個のみで、これは他のデータ駆動型方法よりもはるかに少ないです。実験結果によると、ERDMはCRPS指標においてEDMベンチマークを一貫して上回り、最大で10%の改善が見られました。また、Graph-EFMよりも優れた性能を示しました。IFS ENSおよびNeuralGCMと比較すると、ERDMは競争力がありますが、一部の変数の短期予測においてはIFS ENSにわずかに劣っています。分析によると、これは初期フィールドの構築方法に関連しており、IFS ENSの初期化戦略によって将来的にさらに改善される可能性があります。ERDMとIFS ENSは確率キャリブレーションにおいて共同で最高のパフォーマンスを示していますが、他のデータ駆動型モデルは一般的に短期的な拡散不足の問題を抱えていることは注目に値します。物理的な一貫性に関しては、ERDM によって生成された 14 日間の予測パワー スペクトルは、IFS ENS と非常によく一致しています。これはほとんどの機械学習モデルよりも優れた物理的なリアリズムを示していますが、NeuralGCM は中周波数帯域と高周波数帯域で明らかなエネルギーの過小評価を示しています。

カオス予測の新時代：確実性とランダム性の間に新たな橋を架ける

ERDMが注力するカオス力学系モデリングとシーケンス予測の分野において、世界中の学術界と産業界は、学際的な統合と技術実装を通じて、この方向への革新的なブレークスルーを継続的に推進しています。これらの探求は、「物理的な事前分布とデータ駆動型を組み合わせる」という中核的なロジックを継承するだけでなく、確率予測と不確実性定量化の応用範囲を拡大しています。

一方、学術的なブレークスルーは、流体力学と拡散モデルアーキテクチャにおける深い革新に集中しています。Google DeepMindは、ニューヨーク大学、スタンフォード大学、その他の機関のチームと協力して、物理情報ニューラルネットワーク（PINN）と高精度ガウスニュートン最適化装置を組み合わせることで、ナビエ・ストークス方程式を含む 3 種類の流体方程式で初めて新しい不安定特異点が体系的に発見され、非線形偏微分方程式の複雑な領域を探索するための新しいパラダイムが提供されました。
論文のタイトル:不安定特異点の発見
用紙のアドレス:https://go.hyper.ai/iGh6t

普及モデルアーキテクチャの最適化レベルでは、MIT CSAIL チームによって提案された拡散力 (DF) フレームワークは、フルシーケンス拡散モデルの利点と自己回帰予測を組み合わせたものです。各トークンに独立したノイズレベルを割り当て、因果的アーキテクチャを採用することで、長いシーケンス生成の安定性と柔軟性が向上します。導出されたモンテカルロツリーガイダンス（MCTG）戦略は、高報酬軌道のサンプリング効率を大幅に向上させることができ、ロボット計画や動画予測などの分野で有効性が実証されています。

論文のタイトル:拡散の強制：次のトークン予測とフルシーケンス拡散の融合
用紙のアドレス:https://arxiv.org/pdf/2407.01392

一方で、ビジネス界における革新的な実践は、シナリオベースのテクノロジーの実装とその効率性の向上に重点を置いています。天気予報やマルチドメイン系列予測において大きな価値を実証しています。ファーウェイは重慶市気象局と共同で、「天子12時間」AI天気予報モデル（V2.0）を発表しました。Pangu大規模モデルのネスト構造を基盤とし、分単位のレーダーモザイクと高精度地形データを統合しています。時空間重み最適化により、予測解像度を時速1kmまで向上させ、重慶の豪雨時には、レインバンドパターンと降水強度を正確に描写しました。一般系列予測の分野では、AmazonのDeepARモデルがLSTMアーキテクチャと共同学習戦略を用いて、多変量時系列の確率予測を実現しています。生成された確率分布は不確実性を効果的に定量化し、小売在庫管理やエネルギー消費予測などのシナリオに展開されています。時系列間の相関関係を捉えることで予測精度を向上させます。

今後、基本モデルの進化と学際的な知識の統合に伴い、ERDMなどの技術パスは、決定論的方程式と実作業における不確実性をつなぐ橋を徐々に構築していくでしょう。これらの技術パスは、天気予報や流体シミュレーションといった従来の科学計算タスクに役立つだけでなく、ロボット計画、エネルギースケジューリング、さらにはバイオダイナミクスといった複雑な逐次意思決定問題のための新世代の確率モデリング基盤も提供するでしょう。

参考リンク:
1.https://mp.weixin.qq.com/s/v7uuViL8gF0-5dNEGBR_aw
2.https://mp.weixin.qq.com/s/e5WVUW-HtoOPj4Kef9JwGA
3.https://mp.weixin.qq.com/s/58ZxgFiXqT4efdfygm_t9g