NeurIPS 2025에 선정된 NVIDIA는 장기 예측 과제를 해결하기 위해 ERDM 모델을 제안했으며, 중장기 예측은 EDM 벤치마크에서 계속해서 선두를 달리고 있습니다.

중기(15일 이하) 기상 예보는 과학계에 있어 오랜 과제이자 주요 과제입니다. 전형적인 혼돈계인 대기는 초기 조건에 매우 민감하며, 작은 오차도 빠르게 증폭되어 예측이 현실과 달라질 수 있습니다. 불확실성을 추정하기 위해 여러 섭동 시뮬레이션을 사용하는 앙상블 수치 기상 예보가 주류가 되었지만,그러나 정확성과 적시성 요구 사항이 향상됨에 따라 컴퓨팅 리소스는 기하급수적으로 증가합니다.이러한 병목 현상으로 인해 학계에서는 획기적인 발견을 위해 새로운 데이터 기반 접근 방식을 모색하게 되었습니다.

최근 몇 년 동안 생성 모델링의 획기적인 발전은 이 문제에 대한 새로운 해결책을 제시했습니다. 그중 롤링 시퀀스 확산 모델(RSDM)은 확산 모델의 대표적인 예입니다.장기 예보 상태에 더 강한 소음을 부과하기 위해 점진적 소음 스케줄링 메커니즘이 사용됩니다.이 접근법은 현실 세계에서 시간 경과에 따라 점진적으로 축적되는 불확실성을 시뮬레이션하여 예측의 신뢰성을 효과적으로 향상시킵니다. 그러나 현재의 RSDM은 여전히 이전의 잡음 제거 확산 확률 모델(DDPM) 프레임워크를 기반으로 구축되어 있으며, 기본 아키텍처의 한계로 인해 모델의 전반적인 성능을 더욱 개선하는 데 어느 정도 제약이 있었습니다.

주목할 점은 다음과 같습니다.NeurIPS 2022의 최고 논문에 발표된 NVIDIA의 Elucidated Diffusion Model(EDM)기존 DDPM을 통합하고 개선함으로써 학습 안정성과 생성 품질이 크게 향상되었습니다. EDM의 시간 손실 가중치 메커니즘과 같은 핵심 최적화 전략이 RSDM에 효과적으로 통합될 수 있다면, 모델링 정확도와 운영 효율성이 크게 향상될 것으로 예상됩니다.

이를 바탕으로 NVIDIA와 캘리포니아 대학교 샌디에이고 연구팀은 EDM 프레임워크를 기반으로 시퀀스 모델링의 요구 사항을 충족시키기 위해 노이즈 스케줄링, 노이즈 제거 네트워크 매개변수화, 전처리 프로세스, 손실 가중치 전략 및 샘플링 알고리즘을 체계적으로 개선하고 향상된 설명 롤링 확산 모델(ERDM)을 구축했습니다.본 연구는 "진행형 노이즈 스케줄링"과 "시간 손실 가중치"의 협력적 설계 문제를 극복하는 데 초점을 맞추고 있습니다.이는 혼돈적 동적 시스템의 확률적 예측을 위한 새롭고 효율적인 경로를 제공합니다.

관련 연구 결과는 "확률적 날씨 예측을 위한 롤링 확산 모델 설명"이라는 제목으로 발표되었습니다.인공지능 분야 최고 학술대회인 NeurIPS 2025에 선정되었습니다.

서류 주소:
https://doi.org/10.48550/arXiv.2506.20024
공식 계정을 팔로우하고 "ERDM"이라고 답글을 달면 전체 PDF를 받을 수 있습니다.

더 많은 AI 프런티어 논문:
https://hyper.ai/papers

데이터 세트: Navier-Stokes 및 ERA5 기상 데이터

모델 학습과 검증을 지원하기 위해 이 연구에서는 유체 역학 모델링과 중기 기상 예보 작업에 각각 해당하는 명확한 응용 배경을 가진 두 가지 유형의 벤치마크 데이터 세트를 선택했습니다.

유체역학 실험에서,연구진은 Navier-Stokes 유체 역학 벤치마크 데이터 세트를 사용했습니다.데이터 세트는 221×42 격자 구조로 구성되었습니다. 각 시뮬레이션 케이스에는 원형 장애물이 무작위로 배치되어 유체의 경로를 변경합니다. 일관된 실험 조건을 유지하기 위해 모든 시뮬레이션에서 유체 점도는 1×10⁻³로 고정되었습니다. 데이터 세트는 x 및 y 방향 속도장과 압력장을 포함한 유체 운동의 핵심 물리적 장 정보를 기록합니다. 모델 학습 및 테스트 과정에서 경계 조건과 장애물 마스크는 모델이 경계 효과와 장애물 영향을 정확하게 포착하는 데 도움이 되는 보조 입력으로 사용됩니다. 테스트 단계의 목표는 단일 초기 상태를 기반으로 다음 64개 시간 단계 동안의 유체 변화 과정을 예측하는 것입니다.

중기예보 벤치마크 테스트에서는연구자들은 ERA5 재분석 데이터 세트를 사용했습니다.공간 해상도는 1.5°로, 240×212의 격자 크기에 해당합니다. 이 데이터 세트에는 상층 대기와 지표면의 두 가지 유형의 주요 기상 요소를 포함하는 총 69개의 예측 변수가 포함되어 있습니다. 상층 대기 변수에는 온도(t), 지위고도(z), 비습도(q) 및 13개 기압층(단위: hPa)의 바람장의 u 및 v 성분이 포함됩니다. 지표면 변수에는 2m 온도(2t), 평균 해수면 기압(mslp) 및 10m 높이의 바람장의 u 및 v 성분(10u 및 10v)이 포함됩니다. 모델 학습 단계에서는 1979년부터 2020년까지의 시간별 ERA5 데이터를 사용하여 장기 기후 특성을 포괄합니다. 평가 단계에서는 2021년 00:00 및 12:00(UTC)의 64가지 초기 기상 조건을 선택하여 다양한 초기 조건에서 모델의 중기 예측 성능을 테스트합니다.

ERDM 모델: 혁신과 핵심 아키텍처 설계를 통합하여 혼돈 동적 시스템 모델링을 위한 새로운 경로 제공

ERDM의 핵심 기여는 롤링 시퀀스 확산 모델(RSDM)의 "예측 길이에 따라 소음이 점차 증가한다"는 아이디어와 EDM의 검증된 정규화 설계를 결합하는 것입니다.이 방법은 유체 운동 궤적이나 날씨 예보 시퀀스와 같은 혼돈스러운 동적 시스템을 모델링하기 위한 이론적 엄격성과 실제적 견고성을 결합한 새로운 경로를 제공합니다.

ERDM은 먼저 소음 스케줄링 메커니즘을 개선합니다.기존의 선형 또는 코사인 스케줄링과 달리, ERDM은 시퀀스 생성의 특성에 맞춰 롤링 노이즈 스케줄을 사용합니다. 이 방식은 생성 윈도우를 여러 개의 연속된 시간 구간으로 나누어 각 구간에 서로 다른 노이즈 강도를 할당하고 인접 구간 간의 원활한 전환을 보장합니다. 아래 그림과 같이, 학습 과정에서 모델은 다양한 노이즈 레벨을 무작위로 샘플링하여 다양한 노이즈 시나리오에 적응하도록 학습합니다. 생성 과정에서 노이즈는 높은 초기 레벨에서 점진적으로 감쇠되어 궁극적으로 명확한 결과를 생성합니다. 또한 ERDM은 시퀀스 생성 작업에 더 적합하도록 주요 곡률 매개변수를 조정하여 노이즈 제거 과정에서 더욱 효과적인 정보를 보존합니다.

이를 바탕으로,ERDM은 확률적 흐름 상미분 방정식(ODE)을 도입합니다.이 방정식은 노이즈의 추가 및 제거를 정밀하게 제어하는 데 사용됩니다. 노이즈가 있는 상태에서 명확한 결과까지 데이터 진화의 완전한 궤적을 설명하며, 생성 프로세스의 "내비게이션 맵"으로 간주될 수 있습니다. 아래 그림에서 볼 수 있듯이, 추론 과정에서 모델은 수치적 방법을 사용하여 ODE를 반복적으로 풉니다. 첫 번째 순간의 데이터는 완전히 노이즈가 제거되어 예측 결과로 출력되지만, 나머지 순간에는 일부 노이즈가 유지됩니다. 그런 다음 롤링 메커니즘이 활성화되어 부분적으로 노이즈가 제거된 데이터를 다음 세대의 전치 상태로 사용하고 새로운 노이즈 순간을 보완합니다. 그리고 ODE 해결 프로세스가 반복되어 긴 시퀀스의 연속적인 생성을 달성합니다.

ERDM의 훈련은 잡음 제거 네트워크를 중심으로 이루어집니다.이 네트워크는 EDM의 표준화된 전처리 방식을 활용하며, 각 순간의 노이즈 수준에 따라 데이터를 적응적으로 처리하여 노이즈 시퀀스에서 원래 정보를 복구하는 것을 목표로 합니다. 학습 전략 측면에서 ERDM은 "불확실성 인식" 가중치 방식을 채택합니다. 이는 학습을 안정화하기 위해 기존 가중치를 유지할 뿐만 아니라, 더 풍부한 정보를 가진 중간 노이즈 샘플에 더 높은 가중치를 부여하여 모델이 생성 과정에 중요한 중간 상태 학습에 집중하도록 유도합니다. 특정 학습에서 모델은 깨끗한 시퀀스에서 시작하여 무작위 강도 노이즈를 추가하고 원래 데이터를 복원하며, 예측값과 실제 값의 차이를 비교하여 매개변수를 최적화합니다. 실험 결과, 시간 관련 노이즈 설계를 도입하면 장기 예측의 안정성을 더욱 향상시킬 수 있음이 입증되었습니다.

시계열 데이터의 동적 특성을 더 잘 포착하기 위해 ERDM은 디노이저 구조에 대한 추가적인 최적화를 수행했습니다. 시간 상관관계를 파괴하는 2D 컨볼루션과 계산량이 많은 3D 컨볼루션을 폐기하고, 대신 2D U-Net과 시간적 주의(temporal attention)를 결합한 하이브리드 아키텍처를 채택했습니다. 2D U-Net 백본은 각 순간의 공간적 특징을 추출하고, 시간적 주의 계층은 순간 간의 종속성을 포착하며, 노이즈 정보는 정규화 계층에 내장되어 네트워크 동작을 제어합니다. 이 설계는 효율성과 성능 간의 균형을 유지합니다. 순수한 2D 구조보다 약간 더 복잡하지만, 시퀀스 예측의 품질을 크게 향상시킵니다. 또한,또한 이 연구에서는 시계열 데이터를 사전에 훈련하는 것이 나중에 조정하는 것보다 더 효과적이라는 사실을 발견했습니다.전반적인 프레임워크와 좋은 시너지 효과를 형성할 수 있습니다.

실험 평가: 성능은 가장 진보된 기상 예보 시스템과 비슷하며 계산 효율성이 더 높습니다.

연구자들은 혼돈스러운 동적 시스템을 모델링하는 데 있어 ERDM의 효과를 검증하기 위해 확률적 예측 정확도와 불확실성 정량화 신뢰성이라는 두 가지 주요 목표에 초점을 맞춘 체계적인 평가를 수행했습니다.이 실험에서는 두 가지 유형의 핵심 지표를 사용합니다.연속차등확률점수(CRPS)는 예측값과 실제 관측값 간의 전반적인 편차를 종합적으로 평가하는 데 사용됩니다. 값이 낮을수록 성능이 우수합니다. 확산기술비(SSR)는 앙상블 분산과 앙상블 평균 오차를 비교하여 불확실성 추정치의 합리성을 판단합니다. SSR이 1보다 낮으면 불확실성이 과소평가되었음을, 1보다 높으면 과대평가되었음을 나타냅니다. 이상적으로는 1에 가까워야 합니다.

나비에-스토크스 유체 모델링 실험에서 연구진은 DYffusion을 포함한 벤치마크 모델과 EDM을 기반으로 구축된 벤치마크 모델 세트를 사용했습니다. 실험 결과는 다음과 같습니다.ERDM은 후반 예측 단계에서 상당한 이점을 보이며, CRPS가 최상의 EDM 기준선과 비교했을 때 약 50%만큼 향상되었습니다.EDM 모델은 초기에는 성능이 약간 더 좋았지만, 시간이 지남에 따라 오차가 더 빠르게 증가했습니다. DYffusion은 예측 기간 내내 EDM 벤치마크를 능가하지 못했습니다. 불확도 보정 관점에서 볼 때, ERDM은 상당한 과소분산을 보이며 EDM 벤치마크를 지속적으로 능가했지만, 연구 결과 EDM 벤치마크는 CRPS 성능을 유지하면서 보정을 개선하는 데 어려움을 겪는 것으로 나타났습니다.

더욱 어려운 ERA5 중기 기상 예보 과제에서 연구소의 벤치마크에는 내부 EDM 벤치마크와 IFS ENS, NeuralGCM ENS, Graph-EFM과 같은 외부 비즈니스 모델이 포함됩니다. 계산 효율성 측면에서는ERDM은 5일간의 학습에 H100 GPU 4개만 필요한데, 이는 다른 데이터 기반 방법보다 훨씬 낮은 수치입니다.실험 결과에 따르면 ERDM은 CRPS 지표 측면에서 EDM 벤치마크보다 지속적으로 우수하며, 최대 개선도는 10%에 달합니다. 또한 Graph-EFM보다 우수한 성능을 보입니다. IFS ENS 및 NeuralGCM과 비교했을 때 ERDM은 경쟁력이 있지만, 일부 변수의 단기 예측에서는 IFS ENS보다 여전히 약간 떨어집니다. 분석 결과 이는 초기 필드 구성 방식과 관련이 있으며, IFS ENS 초기화 전략을 통해 향후 더욱 개선될 수 있습니다. ERDM과 IFS ENS는 확률 보정에서 공동으로 최고의 성능을 보이는 반면, 다른 데이터 기반 모델은 일반적으로 단기 과소확산 문제가 있다는 점에 주목할 필요가 있습니다. 물리적 일관성 측면에서,ERDM이 생성한 14일 예보 파워 스펙트럼은 IFS ENS와 매우 일치합니다.이는 대부분의 머신 러닝 모델보다 우수한 물리적 사실성을 보여주는 반면, NeuralGCM은 중간 및 고주파 대역에서 에너지 과소평가가 뚜렷하게 나타납니다.

혼돈 예측의 새로운 시대: 확실성과 무작위성 사이에 새로운 다리 건설

ERDM이 집중하는 혼돈 동적 시스템 모델링 및 시퀀스 예측 분야에서 전 세계 학계와 업계는 학제 간 통합과 기술 구현을 통해 혁신적인 돌파구를 지속적으로 모색하고 있습니다. 이러한 탐구는 "물리적 사전 확률과 데이터 기반 예측의 결합"이라는 핵심 논리를 계승할 뿐만 아니라, 확률적 예측 및 불확실성 정량화의 적용 범위를 확장합니다.

한편, 학문적 혁신은 유체 역학과 확산 모델 구조 분야의 심층적 혁신에 집중되어 있습니다. Google DeepMind는 뉴욕대학교, 스탠퍼드대학교 및 기타 기관의 팀들과 협력하여고정밀 가우스-뉴턴 최적화기와 물리 정보 신경망(PINN)을 결합합니다.나비에-스토크스 방정식을 포함한 세 가지 유형의 유체 방정식에서 처음으로 새로운 불안정 특이점이 체계적으로 발견되어 비선형 편미분 방정식의 복잡한 영역을 탐구하는 새로운 패러다임을 제공했습니다.
논문 제목:불안정한 특이점의 발견
서류 주소:https://go.hyper.ai/iGh6t

확산 모델 아키텍처 최적화 수준에서MIT CSAIL 팀이 제안한 확산력(DF) 프레임워크는 전체 시퀀스 확산 모델의 장점과 자기회귀 예측을 결합합니다.각 토큰에 독립적인 노이즈 레벨을 할당하고 인과적 구조를 채택함으로써 긴 시퀀스 생성의 안정성과 유연성이 향상됩니다. 도출된 몬테카를로 트리 유도(MCTG) 전략은 고보상 궤적의 샘플링 효율을 크게 향상시킬 수 있으며, 로봇 계획 및 비디오 예측과 같은 분야에서 효과가 입증되었습니다.

논문 제목:확산 강제: 다음 토큰 예측이 전체 시퀀스 확산을 충족합니다.
서류 주소:https://arxiv.org/pdf/2407.01392

반면에,기업 커뮤니티의 혁신적 관행은 기술의 시나리오 기반 구현과 효율성 개선에 더욱 집중되어 있습니다.이 모델은 기상 예보 및 다중 도메인 계열 예측에서 상당한 가치를 입증했습니다. 화웨이는 충칭 기상청과 협력하여 "천자 12시간" AI 기상 예보 모델(V2.0)을 출시했습니다. 판구(Pangu) 대규모 모델의 중첩 아키텍처를 기반으로 분 단위 레이더 모자이크와 고정밀 지형 데이터를 통합합니다. 시공간적 가중치 최적화를 통해 예보 해상도를 시속 1km까지 높였습니다. 충칭 폭우 시 강우대 패턴과 강수 강도를 정확하게 표현했습니다. 일반 계열 예측 분야에서 아마존의 DeepAR 모델은 LSTM 아키텍처와 공동 학습 전략을 사용하여 다변량 시계열의 확률적 예측을 달성합니다. 생성된 확률 분포는 불확실성을 효과적으로 정량화하며, 소매 재고 관리 및 에너지 소비 예측과 같은 시나리오에 적용되었습니다. 또한 시계열 간의 상관관계를 파악하여 예측 정확도를 향상시킵니다.

앞으로 기본 모델의 발전과 학제 간 지식의 통합을 통해 ERDM과 유사한 기술 경로는 결정론적 방정식과 실제 작업의 불확실성을 연결하는 교량을 점진적으로 구축하고 있습니다. 이러한 경로는 기상 예측이나 유체 시뮬레이션과 같은 전통적인 과학적 컴퓨팅 작업뿐만 아니라 로봇 계획, 에너지 스케줄링, 심지어 생체 역학과 같은 복잡한 순차적 의사 결정 문제를 위한 차세대 확률적 모델링 기반을 제공할 것입니다.

참조 링크:
1.https://mp.weixin.qq.com/s/v7uuViL8gF0-5dNEGBR_aw
2.https://mp.weixin.qq.com/s/e5WVUW-HtoOPj4Kef9JwGA
3.https://mp.weixin.qq.com/s/58ZxgFiXqT4efdfygm_t9g