오미니아치: 과학계산을 위한 기반 모델 구축

기초 모델은 언어 모델링 분야에서 혁신을 이끌었으나, 이러한 성공이 과학 계산 분야로도 확장되는지 여부는 아직 탐색되지 않은 상태이다. 본 연구에서는 물리적 일치성을 갖춘 다중 스케일 및 다중 물리 현상 문제를 해결하기 위한 최초의 프로토타입인 OmniArch를 제안한다. 우리는 하나의 통합 아키텍처를 통해 세 가지 주요 도전 과제를 모두 해결하였다. 사전 훈련 단계에서는 차원 간 불일치를 점차 감소시키는 푸리에 인코더-디코더와 시간적 동역학을 통해 물리량을 통합하는 트랜스포머 백본을 포함하며, 새로운 PDE-Aligner는 유연한 조건 하에서 물리 정보를 반영한 미세 조정(fine-tuning)을 수행한다. 본 연구에서 최초로 PDEBench 데이터셋을 기반으로 1차원, 2차원, 3차원 문제를 통합하여 사전 훈련을 수행하였으며, 이는 1D, 2D, 3D 편미분방정식(PDE)에 대해 새로운 성능 기준을 설정하는 동시에, 문맥 내 학습(in-context learning) 및 제로샷 학습(zero-shot learning)을 통한 새로운 물리 법칙에 대한 뛰어난 적응 능력을 입증하였다. 이러한 성과는 실용적인 공학 응용과 물리 법칙 탐색의 전망을 뒷받침한다.