Tianyu Chen Haoyi Zhou Ying Li Hao Wang Chonghan Gao Rongye Shi et al

摘要

基础模型已彻底革新了语言建模领域，然而这一成功能否在科学计算中得以复现，仍是一个尚未探索的问题。我们提出了OmniArch，这是首个致力于通过物理对齐解决多尺度、多物理场科学计算问题的原型系统。我们采用统一的架构，一次性应对了所有三大挑战。其预训练阶段包含一个傅里叶编码器-解码器，可逐步弱化各独立维度间的不协调性，以及一个基于Transformer的骨干网络，通过时间动态整合物理量；此外，我们提出的新型PDE-Aligner能够在灵活条件下实现物理信息引导的微调。据我们所知，这是首次在PDEBench数据集上开展1D-2D-3D统一预训练，不仅为1D、2D和3D偏微分方程（PDEs）设立了全新的性能基准，更通过上下文学习（in-context learning）与零样本学习（zero-shot learning）方法展现出卓越的适应新物理规律的能力，为实际工程应用及前瞻性物理规律发现提供了有力支持。