OmniArch：科学計算のためのファウンデーションモデル構築

基礎モデルは言語モデリングの分野で革命をもたらしたが、その成功が科学計算分野にも同様に応用されるかどうかは、まだ検証されていない。本研究では、物理的整合性を備えた多スケール・多物理現象問題を解決することを目指した初のプロトタイプ「OmniArch」を提案する。我々は、一貫したアーキテクチャを用いて、この三つの課題を統合的に解決した。事前学習段階では、分離された次元間の不整合を徐々に減衰させるフーリエエンコーダ・デコーダと、時間的ダイナミクスを通じて物理量を統合するTransformerバックボーンを組み合わせており、新規に開発したPDE-Alignerにより、柔軟な条件下で物理情報に基づく微調整（fine-tuning）を実現している。本研究において、PDEBench上で1次元（1D）・2次元（2D）・3次元（3D）の統合的事前学習を初めて実施した。その結果、1D・2D・3Dの偏微分方程式（PDE）に関して新たな性能ベンチマークを確立するとともに、文脈内学習（in-context learning）およびゼロショット学習（zero-shot learning）による手法を用いて、新たな物理法則への優れた適応性を示した。この成果は、実用的な工学応用の実現と、未来の物理法則の発見を可能にする基盤を提供するものである。