과학 컴퓨팅 및 엔지니어링 시뮬레이션 분야에서 복잡한 물리 시스템의 진화를 효율적이고 정확하게 예측하는 것은 학계와 산업계 모두에게 항상 핵심적인 과제였습니다. 전통적인 수치 해석 방법은 이론적으로 대부분의 물리 방정식을 풀 수 있지만, 고차원, 다중 물리 시나리오 또는 불균일한 경계 조건을 다룰 때 계산 비용이 많이 들고 대규모 다중 작업에 적응성이 부족합니다.한편, 자연어 처리 및 컴퓨터 비전 분야에서 딥러닝 기술의 획기적인 발전은 연구자들이 "기본 모델"을 물리적 시뮬레이션에 적용할 가능성을 탐구하도록 자극했습니다.

하지만 물리 시스템은 종종 여러 시간 및 공간 규모에 걸쳐 진화하는 반면, 대부분의 학습 모델은 일반적으로 단기적인 동역학만을 기반으로 훈련됩니다. 따라서 장기 예측에 사용될 경우 복잡한 시스템에서 오류가 누적되어 모델의 불안정성을 초래합니다.더욱이, 다양한 규모와 시스템 이질성으로 인해 하위 작업들은 모델링 해상도, 차원, 물리적 필드 유형에 대한 요구 사항이 다양하며, 이는 고정된 입력 형식을 선호하는 최신 학습 아키텍처에 상당한 어려움을 야기합니다. 따라서 현재까지 시뮬레이션에 사용되는 대부분의 기초 모델은 보다 현실적인 3차원 상황보다는 2차원 문제만을 처리하는 등 상대적으로 동질적인 데이터 시나리오에만 국한되어 있습니다.

이러한 배경에서 Polymathic AI Collaboration의 연구팀은 앞서 언급한 문제들을 해결하기 위한 새로운 방법들을 제시했는데, 여기에는 패치 지터링, 2D-3D 시나리오를 위한 부하 분산형 학습 전략, 그리고 적응형 컴퓨팅 토큰화 메커니즘 등이 포함됩니다.이를 바탕으로 연구팀은 13억 개의 매개변수를 가지고 Transformer를 핵심 아키텍처로 사용하며 유체와 같은 연속체 역학에 주로 초점을 맞춘 Walrus라는 기본 모델을 제안했습니다. Walrus는 사전 학습 단계에서 천체 물리학, 지구 과학, 유변학, 플라즈마 물리학, 음향학 및 고전 유체 역학을 포함한 여러 분야를 아우르는 19개의 매우 다양한 물리적 시나리오를 다룹니다. 실험 결과는 Walrus가 후속 작업에 대한 단기 및 장기 예측 모두에서 기존 기준 모델보다 우수한 성능을 보이며, 전체 사전 학습 데이터 분포에 걸쳐 더 강력한 일반화 성능을 나타낸다는 것을 입증합니다.

"Walrus: A Cross-Domain Foundation Model for Continuum Dynamics"라는 제목의 관련 연구 결과는 arXiv에 사전 공개 논문으로 게시되었습니다.

연구 하이라이트:

Walrus는 13억 개의 모델 매개변수 크기, 혁신적인 안정화 기술, 그리고 문제의 복잡성에 맞춰 계산 방식을 조정할 수 있는 능력을 갖추고 있습니다.

* 이는 비용 적응, 안정성, 고도로 이질적인 훈련 데이터에 대한 기본 해상도에서의 효율적인 훈련 등 연속체 역학에 대한 현재 기본 모델의 여러 한계를 해결합니다.

* Walrus는 현재까지 가장 정확한 연속체 시뮬레이션 기반 모델로서, 다양한 과학 분야와 다양한 시간 척도에 걸쳐 26개의 고유한 연속체 시뮬레이션 작업에서 추적된 65개 지표 중 56개에서 최첨단 결과를 달성했습니다.

서류 주소:https://arxiv.org/abs/2511.15684
저희 공식 위챗 계정을 팔로우하고 백그라운드에서 "미디어 시뮬레이션"이라고 답장하시면 전체 PDF 파일을 받으실 수 있습니다.

더 많은 AI 프런티어 논문:
https://hyper.ai/papers

이질적이고 다차원적이며 고품질의 데이터 세트 구축

Walrus의 성공은 다양성과 고품질 데이터와 밀접한 관련이 있습니다. 연구팀은 사전 학습을 위해 Well과 FlowBench의 하이브리드 데이터셋을 사용했습니다. Well 데이터셋은 실제 과학 문제에서 추출한 방대한 양의 고해상도 데이터를 제공하는 반면, FlowBench는 표준 유체 시나리오에 기하학적으로 복잡한 장애물을 도입하여 모델이 복잡한 유동 패턴을 학습할 수 있도록 합니다.

연구팀은 다양한 방정식, 경계 조건 및 물리적 매개변수 설정을 포함하여 총 63개의 상태 변수를 포괄하는 19개의 데이터 세트를 사용했습니다.모델의 일반화 능력을 다양한 공간 차원에 걸쳐 확보하기 위해 데이터 차원은 2차원과 3차원을 모두 포함합니다. 모델의 전이성을 검증하기 위해 연구팀은 사전 학습 후 Well, FlowBench, PDEBench, PDEArena, PDEGym 등의 데이터셋 일부를 사용하여 모델을 미세 조정했습니다. 데이터 분할은 표준 분할 전략을 따르거나, 궤적을 기반으로 학습/검증/테스트 데이터셋을 80/10/10 비율로 나누었습니다.

훈련 설정 측면에서, Walrus 모델은 약 40만 회의 사전 훈련 단계를 거쳤으며, 각 2D 데이터셋에는 약 4백만 개의 샘플, 각 3D 데이터셋에는 약 2백만 개의 샘플이 사용되었습니다. 고차원 다중 작업 데이터에서 효율적인 학습을 위해 AdamW 옵티마이저와 학습률 스케줄링 전략이 적용되었습니다. 주요 평가 지표로는 VRMSE(표준화된 제곱근 평균 오차)를 사용했으며, 이를 통해 데이터셋과 작업에 걸쳐 통일된 평가가 가능했습니다.

이처럼 매우 다양한 훈련 데이터와 전략을 통해 Walrus는 사전 훈련 단계에서 풍부한 물리적 특성을 포착하고 후속 작업에 대한 도메인 간 일반화의 기반을 마련할 수 있습니다.

시공간 분해 기반 트랜스포머 아키텍처

Walrus 모델은 시공간 분해 변환기 아키텍처를 사용합니다. 시공간 텐서 구조 데이터를 처리할 때, 효율적인 모델링을 위해 공간 및 시간 차원 모두에서 어텐션 연산을 수행합니다. 이 과정은 아래 그림에 나와 있습니다.

* 공간 처리:우리는 Wang이 제안한 병렬 어텐션을 사용하고 이를 Axial RoPE와 결합하여 위치 인코딩에 활용합니다.

* 타임라인 처리:본 연구에서는 인과적 어텐션과 T5 스타일 상대 위치 코딩을 결합하여 사용합니다. 학습 안정성 향상을 위해 공간 및 시간 모듈 모두에 QK 정규화를 적용했습니다.

* 연산 적응형 압축:인코더 및 디코더 모듈에서는 컨볼루션 스트라이드 변조(CSM)를 사용하여 다양한 해상도의 데이터를 기본적으로 처리합니다. 각 인코더/디코더 블록에서 다운샘플링/업샘플링 레벨을 조정함으로써 유연한 해상도 처리가 가능합니다. 기존 시뮬레이션 모델은 종종 고정 압축 인코더를 사용했는데, 이는 하위 작업의 다양한 해상도 요구 사항을 충족할 만큼 유연하지 못했습니다. CSM을 통해 연구자들은 다운샘플링을 위한 컨볼루션 스트라이드를 조정하여 작업에 맞는 공간 압축 레벨을 선택할 수 있습니다.

* 공유 인코더-디코더:동일한 차원의 모든 물리 시스템은 공통 특징을 학습하기 위해 단일 인코더와 디코더를 공유합니다. 2차원 및 3차원 데이터는 각각 두 개의 인코더와 두 개의 디코더에 해당하며, 경량 계층형 다층 퍼셉트론(hMLP)을 사용하여 인코딩 및 디코딩됩니다.

* RMS 그룹 정규화 및 비대칭 입력/출력 정규화:RMSGroupNorm은 각 Transformer 블록 내에서 정규화를 수행하여 학습 안정성을 향상시키는 데 사용됩니다. 비대칭 정규화는 입력 및 출력의 증분 예측에 사용되어 다양한 시나리오에서 수치적 안정성을 보장합니다.

* 패치 지터링:입력 데이터를 무작위로 이동시킨 후 출력에서 역으로 처리함으로써 고주파 아티팩트의 누적을 줄여 장기적인 예측 안정성을 크게 향상시킬 수 있으며, 특히 ViT 스타일 아키텍처에서 효과적입니다.

* 고효율 멀티태스킹 교육:계층적 샘플링과 정규화된 손실 함수를 사용하여 빠르게 변화하는 필드의 예측이 느리게 변화하는 필드에 의해 좌우되지 않도록 합니다. 동시에 마이크로 배치 및 적응형 토큰화 전략을 결합하여 고차원 이종 데이터 학습 시 발생하는 불균등 부하 문제를 해결합니다.

* 2차원 및 3차원 표현의 통합 표현:2차원 데이터에 1차원을 추가하고 이를 0으로 채운 다음, 3차원 공간에 임베딩하고, 대칭 강화(회전, 반사)를 통해 다양한 증폭을 수행함으로써 차원 간 학습 기능을 구현할 수 있다.

전반적으로 Walrus 아키텍처는 공간적 차원과 시간적 차원 모두에서 텐서 데이터를 효율적으로 처리할 뿐만 아니라, 다양한 전략과 효율적인 분산 학습을 통해 다중 작업 및 다중 물리적 시나리오의 문제점도 해결합니다.

Walrus는 다양한 2D 및 3D 다운스트림 작업에서 상당한 이점을 보여줍니다.

Walrus를 기본 모델로 사용했을 때의 성능과 후속 작업에서의 성능을 검증하기 위해 연구진은 일련의 실험을 설계했습니다.

① 다운스트림 작업 성능

아래 그림에서 볼 수 있듯이, Walrus는 MPP-AViT-L, Poseidon-L, DPOT-H와 같은 기존 기준 모델과 비교하여 단일 단계 예측에서 평균 VRMSE를 약 63.61 TP3T, 단기 궤적 예측에서 약 56.21 TP3T, 중기 궤적 예측에서 약 48.31 TP3T만큼 감소시킵니다.

비혼돈 시스템에서는 패치 지터링으로 인한 아티팩트 생성이 적어 모델의 장기 예측 성능이 안정적입니다. 그러나 보다 확률적인 시스템(예: BubbleML의 Pool-BoilSubcool)에서는 Walrus가 초기에는 우위를 점하지만, 단기적인 과거 정보만으로는 재료 및 버너의 특성을 충분히 반영할 수 없기 때문에 장기적인 롤링 예측 성능에서 우위를 잃게 됩니다.

실제 물리 시뮬레이션 대부분이 3차원 시스템이기 때문에 3차원 작업은 특히 중요합니다. 아래 그림에서 볼 수 있듯이, Walrus는 PNS(중성자별 병합 후) 및 RSG(적색 초거성 대류권) 데이터 세트를 생성하는 데 수백만 코어 시간이 소요되었음에도 불구하고 이러한 데이터 세트에서 탁월한 성능을 보여줍니다.

② 도메인 간 기능

Walrus의 도메인 간 기능 또한 검증되었습니다. 최적의 기준선과 비교했을 때, Walrus는 단일 단계 예측에서 평균 손실을 52.21 TP3T만큼 줄였습니다.19개의 사전 학습된 데이터셋을 사용하여 미세 조정을 거친 결과, Walrus는 19개 작업 중 18개에서 가장 낮은 단일 단계 손실을 달성했으며, 아래 표에서 볼 수 있듯이 20단계 및 20~60단계의 중기 롤링 예측에서 각각 평균 30.5% 및 6.3%의 이점을 보였습니다.

이에 비해 DPOT는 음향 및 선형 파동 전파 문제에서 Walrus와 유사한 성능을 보이며, Poseidon은 비점성 유동 문제에서 탁월한 성능을 나타냅니다. 그러나 Walrus는 광범위한 사전 학습과 범용적인 아키텍처를 통해 대부분의 문제에서 경쟁력 있거나 더 나은 결과를 달성합니다.

③ 사전 훈련 전략의 영향

어블레이션 실험 결과, Walrus의 다양한 사전 학습 전략이 후속 성능에 매우 중요하다는 것이 밝혀졌습니다. 2차원 데이터만 사용하는 절반 크기 모델(HalfWalrus)에서도, 포괄적인 공간 및 시간 데이터 증강을 포함하는 사전 학습 전략은 완전히 새로운 작업에서 처음부터 학습된 모델이나 단순한 2차원 사전 학습 전략을 사용한 모델보다 훨씬 뛰어난 성능을 보였습니다.

3D CNS 작업에서 HalfWalrus는 3D 데이터를 접해보지 않은 경우에도 매우 적은 양의 데이터로 약간의 성능 향상을 보일 수 있습니다. 하지만 3D 데이터로 사전 학습을 거친 전체 Walrus 모델은 상당한 성능 향상을 보여주며, 다차원적이고 다양한 데이터의 중요성을 강조합니다.

다재다능한 AI는 학제 간 인공지능 응용 프로그램의 구현을 가속화합니다.

과학 컴퓨팅 및 엔지니어링 모델링 분야에서 기초 모델의 잠재력은 새로운 패러다임 전환을 촉발하고 있습니다. 폴리매틱 AI(Polymathic AI)는 학제 간 인공지능 응용 프로그램 구현을 가속화하기 위해 과학 데이터에 대한 범용 기초 모델을 구축하는 것을 핵심 목표로 하는 주목할 만한 오픈 소스 연구 프로젝트입니다.

자연어 처리나 컴퓨터 비전 작업과 같은 범용 대규모 모델과는 달리, 폴리매틱 AI는 연속 동적 시스템, 물리장 시뮬레이션, 엔지니어링 시스템 모델링과 같은 일반적인 과학 컴퓨팅 문제에 초점을 맞춥니다.이 기술의 핵심 아이디어는 대규모, 다중 물리, 다중 스케일 데이터를 통해 통합 모델을 학습시켜 도메인 간 전송 기능을 갖추도록 하는 것입니다. 이를 통해 각 과학적 문제에 대해 처음부터 모델을 구축하는 비용을 절감할 수 있으며, 이러한 "도메인 간 일반화 기능"은 과학 인공지능 분야에서 중요한 돌파구로 여겨집니다.

폴리매틱 AI는 순수 머신러닝 연구원과 해당 분야 과학자들로 구성된 팀을 보유하고 있으며, 세계적인 전문가들로 이루어진 과학 자문 그룹의 지도를 받고, 튜링상 수상자이자 메타의 수석 과학자인 얀 르쿤의 조언을 받고 있다고 합니다. 또한 케임브리지 대학교의 AI+ 천문학/물리학 조교수인 마일스 크랜머를 비롯한 여러 저명한 학자들의 지원을 받아 과학 데이터에 대한 기본 모델 개발에 집중하고, 학제 간 공유 개념을 활용하여 과학 분야 AI의 산업적 과제를 해결하는 것을 목표로 하고 있습니다.

2025년, 폴리매틱 AI 협력단(Polymathic AI Collaboration) 구성원들은 천문학 및 유체 시스템 분야의 문제를 해결하기 위해 실제 과학 데이터셋으로 학습된 두 가지 새로운 인공지능 모델을 선보였습니다. 하나는 앞서 언급한 Walrus였고, 다른 하나는 천문학 분야 최초의 대규모 멀티모달 기초 모델 패밀리인 AION-1(Astronomical Omni-modal Network)이었습니다. AION-1은 이미지, 스펙트럼, 항성 목록 데이터와 같은 이질적인 관측 정보를 통합된 초기 융합 백본 네트워크를 통해 통합하고 모델링합니다. 이 모델은 데이터 손실이 없는 시나리오에서 탁월한 성능을 보일 뿐만 아니라, 특정 작업에 특화된 모델과 유사한 선형 탐지 정확도를 자랑하며, 광범위한 과학적 작업에서 우수한 성능을 입증합니다. 단순한 순방향 탐지만으로도 최첨단(SOTA) 수준의 성능을 달성하며, 데이터 양이 적은 시나리오에서는 지도 학습 기반 모델보다 훨씬 뛰어난 성능을 보여줍니다.
논문 제목:AION-1: 천문과학을 위한 옴니모달 기초 모델
서류 주소:https://arxiv.org/abs/2510.17960

전반적으로, 폴리매틱 AI는 "과학적 AI의 기본 모델"이라는 새로운 기술 패러다임을 탐구하는 최첨단 프로젝트입니다. 이 프로젝트의 장기적인 중요성은 성능 향상뿐 아니라, 학제 간 지식 전달을 위한 일반적인 컴퓨팅 기반을 구축하고, "과학을 위한 AI"가 도구 수준의 응용 프로그램에서 인프라 수준의 역량으로 발전할 수 있는 토대를 마련하는 데 있습니다.

참고문헌:
1.https://arxiv.org/abs/2511.15684
2.https://www.thepaper.cn/newsDetail_forward_32173693
3.https://polymathic-ai.org
4.https://arxiv.org/abs/2510.17960
5.https://www.163.com/dy/article/KGMRMMQM055676SU.html