일기 예보의 정확성과 예측 기간은 재해 예방, 농업 생산, 그리고 전 세계 자원 배분에 직접적인 영향을 미칩니다. 단기 경보부터 계절별, 나아가 장기 기후 예측에 이르기까지, 기술적 과제는 단계가 진행될수록 기하급수적으로 증가합니다. 수년간의 전통적인 수치 기상 예측 개발 끝에 인공지능(AI)은 이 분야에 새로운 활력을 불어넣었습니다. 최근 AI 기반 일기 예보 모델은 중기 예보에서 획기적인 발전을 이루어, 기존의 첨단 동역학 모델과 동등하거나 그 이상의 성능을 보여주고 있습니다.

현재 대부분의 주류 AI 기상 모델은 자기회귀(AR) 아키텍처를 사용합니다. 이 모델은 단기 대기 변화에 대한 과거 데이터를 반복적으로 외삽하고 학습하여 향후 몇 시간 동안의 기상 조건을 예측합니다. 이러한 유형의 모델은 중기 예보에서 우수한 성능을 보입니다.하지만 아계절에서 계절(S2S)과 같은 장기적인 규모로 확장할 때 근본적인 병목 현상이 발생했습니다.

장기 예측은 확률적 방법에 의존하는 반면, 자기회귀 모델은 반복적인 계산을 통해서만 예측을 수행할 수 있어 오류가 지속적으로 누적되고 보정이 어려워집니다. 핵심적인 모순은 다음과 같습니다.훈련 목표는 단기적인 패턴을 학습하는 것이며, 장기 예측을 위해서는 기후 변동의 느린 속도를 특징지을 수 있는 확률 모델을 구축해야 합니다.

이러한 한계를 극복하기 위해 연구자들은 단일 단계 예측을 위한 새로운 방법을 모색하기 시작했습니다. 그러나 새로운 문제가 발생했습니다. 기존 재분석 데이터를 기반으로 장기 단일 단계 모델을 학습시킬 때 데이터 샘플 부족으로 인해 심각한 과적합이 발생할 수 있으며, 모델의 신뢰성을 보장할 수 없다는 것입니다.

이러한 맥락에서,엔비디아 리서치의 연구팀이 워싱턴 대학교와 협력하여 장거리 증류를 위한 새로운 방법을 개발했습니다.핵심 아이디어는 현실적인 대기 변동성을 생성하는 데 탁월한 자기회귀 모델을 "교사"로 활용하여 저비용의 신속한 시뮬레이션을 통해 대량의 합성 기상 데이터를 생성하는 것입니다. 그런 다음, 이 데이터를 사용하여 확률론적 "학생" 모델을 훈련시킵니다. 학생 모델은 단 한 단계의 계산만으로 장기 예보를 생성할 수 있으므로 반복 계산 오류의 누적을 방지하고 복잡한 데이터 보정 문제를 해결할 수 있습니다.

본 연구는 자기회귀 모델링 프레임워크에서 벗어나 대규모 기후 데이터를 조건부 생성 모델로 압축함으로써 기존 연구들의 한계였던 제한된 훈련 데이터 문제를 극복하고자 합니다. 100년 동안의 기후를 안정적으로 시뮬레이션할 수 있는 자기회귀 결합 모델을 교사 모델로 활용하여 실제 기록 규모를 훨씬 뛰어넘는 방대한 훈련 샘플을 생성했습니다. 예비 실험 결과, 이 모델을 기반으로 훈련된 학생 모델은 S2S 예측에서 ECMWF 통합 예측 시스템과 유사한 성능을 보였으며, 합성 데이터 양이 증가함에 따라 성능이 지속적으로 향상되는 것을 확인했습니다. 이는 향후 더욱 신뢰할 수 있고 경제적인 기후 규모 예측을 가능하게 할 것으로 기대됩니다.

"장기 증류: 10,000년 동안 시뮬레이션된 기후 데이터를 장기 시간 간격의 AI 날씨 모델로 증류하기"라는 제목의 관련 연구 결과가 arXiv에 게시되었습니다.

연구 하이라이트:

* 실제 관측 데이터의 시간적 한계를 극복하고, AI 기상 모델을 사용하여 1만 년 이상의 합성 기후 데이터를 생성함으로써, 실제 관측에서 충분히 나타나지 않았던 느리게 변화하는 기후 양상까지 모델이 학습할 수 있도록 합니다.

* 본 논문에서는 기존 자기회귀 모델에서 수백 번의 반복으로 인해 발생하는 오류 누적 및 불안정성 문제를 극복하고, 단 한 번의 계산으로 장기 확률 예측 모델을 도출할 수 있는 장거리 증류 방법을 제안합니다.

* 실제 데이터에 맞춰 조정된 후, 해당 모델의 단기 및 장기 예보 능력은 유럽 중기예보센터(ECMWF)의 운영 시스템과 유사한 수준에 도달했습니다.

서류 주소:https://arxiv.org/abs/2512.22814 저희 공식 위챗 계정을 팔로우하고 백그라운드에서 "장거리 증류"라고 답장하시면 전체 PDF 파일을 받으실 수 있습니다.

더 많은 AI 프런티어 논문: https://hyper.ai/papers

데이터셋: 합성 기후 데이터의 생성, 분류 및 평가를 위한 프레임워크

본 연구는 장거리 증류 모델의 시간 의존적 통합 예측 능력을 평가하기 위해, 먼저 통제된 이상 모델 실험을 통해 모델의 타당성을 검증하였다.모든 평가 데이터는 자기회귀 교사 모델인 DLESyM(Deep Learning Earth System Model)에서 저장해둔 시뮬레이션 데이터를 기반으로 했습니다.또한, 이 설정은 증류 모델 훈련 과정에서 사용된 적이 없습니다. 이 설정의 핵심 목적은 초기 조건이 완전히 결정되지 않은 상황에서 미지의 모의 기상 조건을 예측하는 데 있어 장단계 증류 모델과 DLESyM 교사 모델의 성능을 검증하여 평가의 객관성을 확보하는 것이었습니다.

평가에서는 앙상블 평균 제곱근 오차(RMSE)와 같은 결정론적 지표뿐만 아니라, 예측 성능을 보다 종합적으로 측정하기 위해 확률론적 예측 평가 도구인 연속 순위 확률 점수(CRPS)를 도입했습니다. 연구진은 예측 메커니즘이 서로 다른 세 가지 예측 리드를 선정하여 테스트했습니다.

* 중기적 기간:

7일 일평균 예측(매개변수 N=28, M=4)을 위해 2017년 1월 1일부터 2019년 3월 10일까지(시뮬레이션 연도)의 예약된 데이터를 사용했으며, 2일 간격으로 초기 날짜를 선택하여 400개 이상의 샘플을 얻었습니다.

* S2S 기간:

4주 주간 평균 예측(매개변수 N=112, M=28)에는 2017년 1월 1일부터 2021년 5월 16일(시뮬레이션 연도)까지의 데이터가 사용되었으며, 초기 날짜는 4일 간격으로 설정되었고 표본 크기 또한 400을 초과했습니다.

* 계절별 유효기간:

12주 월평균 예측(매개변수 N=336, M=112)에는 2017년 1월 1일부터 2025년 9월 28일(시뮬레이션 연도)까지의 데이터가 사용되었으며, 초기 날짜는 8일 간격으로 선택되어 약 400개의 표본 크기가 얻어졌습니다.

독립성을 확보하기 위해 연구진은 DLESYM에서 생성된 약 15,000년 분량의 합성 기후 시뮬레이션 데이터를 앙상블 멤버십을 기준으로 훈련 세트(751개의 TP3T, 약 11,000년)와 검증 세트(251개의 TP3T)로 나누고, 각 예측 리드 타임에 대해 독립적인 증류 모델을 훈련시켰습니다. 이러한 합성 데이터 생성에는 병렬 전략이 사용되었습니다. 2008년 1월 1일부터 2016년 12월 31일 사이에 200개의 초기 날짜를 균등하게 선택했으며, 각 날짜는 90년 시뮬레이션에 해당합니다.이를 통해 총 18,000년에 걸친 기후 데이터를 얻을 수 있었습니다.

본 연구의 궁극적인 목표는 학습된 모델을 장기적인 실제 예측에 적용하는 것입니다. DLESyM의 장기 운영을 통해 생성된 "모델 환경"은 실제 환경과 다르다는 점에 유의해야 합니다. 따라서 모델을 실제 응용 분야에 적용할 때 이러한 "영역 전환" 문제를 핵심 과제로 삼아 해결해야 합니다.

장거리 증류: "데이터 증류"와 "확률적 보정"의 이중 혁신

장거리 증류법의 혁신적인 아이디어는 다음과 같습니다...이 방법은 장기간 안정적으로 실행될 수 있는 단기 자기회귀 모델을 "교사"로 사용하여, 단 한 번의 계산만으로 장기 예측을 출력할 수 있는 "학생" 모델을 훈련시킵니다.이는 기존 자기회귀 모델에서 수백 번의 반복으로 인해 발생하는 오류 누적 문제를 근본적으로 해결합니다.

구체적으로, 연구자들은 교사 모델의 장기 롤링 시퀀스로부터 미래 시간 창 동안의 평균 상태인 장기 예측 목표를 정의합니다. 그런 다음 학생 모델은 초기 상태에서 이 장기 목표까지의 조건부 확률 분포를 직접 학습합니다. 교사 모델의 핵심 가치는 원본 재분석 데이터의 규모를 훨씬 뛰어넘는 방대한 양의 합성 데이터를 효율적으로 생성할 수 있다는 점에 있으며, 이를 통해 장기 예측을 위한 훈련 샘플 부족 문제를 해결합니다.

이 목표를 달성하기 위해,본 연구에서는 DLESyM 모델을 "교사"로 활용합니다.이 모델은 ERA5 재분석 데이터를 기반으로 초기화되었으며 해수면 온도, 기온, 지위고도와 같은 주요 변수를 예측합니다. 연구진은 효율적인 데이터 생성 전략을 설계했습니다. 2008년부터 2016년까지 200개의 초기 시점을 고르게 선정하고 90년 동안 병렬적으로 시뮬레이션을 수행하여 총 18,000년 분량의 합성 기후 데이터를 생성했습니다. 강력한 컴퓨팅 성능 덕분에 데이터 생성 과정은 단 몇 시간 만에 완료되었으며, 이는 인공지능 기반 기후 시뮬레이션의 효율성 이점을 명확히 보여줍니다. 품질 검증을 거쳐 약 15,000년 분량의 유효 데이터를 후속 모델 학습 및 검증에 사용했습니다.

"학생" 모델은 조건부 확산 모델 아키텍처를 사용하며 확률적 예측을 위해 특별히 설계되었습니다.이 연구의 목표는 미래의 장기적인 기상 조건과 입력 조건(예: 지난 4일간의 일평균 기상 조건) 간의 복잡한 관계를 모델링하는 것입니다. 모델 아키텍처는 HEALPix 그리드에 맞게 개선된 UNet 네트워크를 기반으로 하며, 학습 가능한 공간 임베딩과 주기적인 시간 임베딩을 도입하여 전 세계 기상장의 시공간적 의존성을 효과적으로 포착합니다. 연구진은 훈련 과정에서 특정 노이즈 스케줄링 전략을 사용하여 모델이 데이터의 모든 규모에서 특징을 학습하도록 했습니다.

본 연구는 확률 예측의 불확실성을 정확하게 보정하기 위해 "분류기 없는 안내"라는 혁신적인 방법을 도입한다.이 방법은 모델 추론 단계에서 간단한 가중치 매개변수를 조정함으로써 예측 앙상블의 분산을 유연하게 제어할 수 있도록 합니다.이를 통해 예측 오차와 정확한 예측 사이의 최적의 균형을 유지할 수 있으므로, 정밀하게 보정된 확률 예측을 생성할 수 있습니다.

이 연구는 모델이 실제 예측 작업을 수행할 수 있도록 "영역 이동" 문제를 해결하기 위한 두 가지 전략을 구현했습니다. 첫째, 평균 상태에서 시뮬레이션 데이터와 실제 관측값 간의 체계적인 차이를 바로잡기 위해 기후 편향 보정을 적용했습니다. 둘째, 제한된 ERA5 재분석 데이터를 사용하여 모델을 미세 조정하고 네트워크의 주요 매개변수만 업데이트했습니다. 이를 통해 모델은 방대한 합성 데이터에서 학습한 패턴을 유지하면서 실제 대기의 특성에 더 잘 적응할 수 있었습니다. 마지막으로, 유럽 중기예보센터(ECMWF)와 같은 주요 운영 시스템과의 비교를 통해 실제 시나리오에서 모델의 경쟁력을 평가했습니다.

다방면에서의 획기적인 발전: 확장 가능한 데이터, 검증 가능한 예측, 그리고 최고 수준의 비즈니스 시스템에 필적하는 기술력.

본 연구는 일련의 실험을 통해 장거리 증류 모델의 성능과 잠재력을 훈련 데이터 규모의 영향, 예측 불확실성 보정, 다중 시점 예측 능력, 운영 시스템과의 벤치마킹 등 네 가지 영역에서 체계적으로 검증하였다.

첫째, 본 연구는 핵심 가설, 즉 합성 훈련 데이터의 양을 늘리면 모델의 예측 능력이 크게 향상된다는 가설을 검증했습니다. 아래 그림에서 볼 수 있듯이, 40년치의 시뮬레이션 데이터만으로 훈련된 모델은 빠르게 과적합된 반면, 약 11,000년치의 합성 데이터(DLESyM10K)로 훈련된 모델은 안정적인 학습 곡선을 보였습니다. 더욱 중요한 것은,데이터 양의 증가는 예측 능력 향상으로 직결됩니다.4주간의 기온 예측에서 CRPS 점수는 14% 감소했습니다. 이는 자기회귀 모델을 사용하여 대규모 합성 데이터를 생성하는 것이 보다 견고한 장기 예측 모델을 구축하는 데 효과적임을 처음으로 입증한 것입니다.

본 연구에서는 확률 예측의 분산을 보정하기 위해 "분류기 없는 가이던스" 기법을 활용합니다. 가이던스 강도를 조정함으로써 예측 앙상블의 분산을 제어하고 예측 오차와의 최적 균형을 달성할 수 있습니다. 실험 결과는 다음과 같습니다...안내 강도를 1로 설정하면 모델이 자동으로 양호한 보정을 달성할 수 있습니다.조정이 필요한 경우, 추론 단계에서 매개변수를 간단히 조정할 수 있습니다. 이는 확률적 예측을 위한 효율적이고 유연한 보정 방법을 제공합니다.

이 모델은 중기, 준계절-계절(S2S) 및 계절 예측에서 견고한 성능을 보여줍니다.중기 예보에서 이 모델은 초기 오차에 대한 강력한 견고성을 보여주며, 확률적 모델링 특성은 초기 조건의 불확실성을 완화하는 데 도움이 됩니다. 보다 까다로운 S2S 및 계절 예보에서 DLESyM10K는 특히 열대 및 해양과 같이 예측 가능성이 높은 지역에서 기후학적 기준치를 크게 능가합니다. 주목할 만한 점은,이 방법은 단일 단계 계산을 통해 수백 번의 반복을 거치는 자기회귀 교사 모델과 유사한 수준의 성능을 달성합니다.이는 해당 프레임워크의 효율성을 입증합니다.

모델을 실제 예측에 적용할 때, 미세 조정 및 편향 보정을 통해 "모델 기후"와 실제 기후 간의 차이를 해결했습니다. 유럽 중기예보센터(ECMWF) 운영 시스템과의 비교 결과는 다음과 같습니다.미세 조정을 거친 후, DLESyM10K의 4주간 기온 예측 정확도는 ECMWF 시스템과 매우 유사하며, 두 시스템 모두 기후학적 기준치보다 훨씬 우수합니다.지역별 분석 결과, 각 모델은 서로 다른 지리적 지역에서 강점을 보이는 것으로 나타났습니다. 예를 들어, DLESyM10K는 미주 및 중앙아프리카 일부 지역에서 더 나은 성능을 보였습니다. 이는 AI 모델이 첨단 비즈니스 시스템과 경쟁할 수 있는 잠재력을 보여주는 동시에 차별화된 가치를 강조합니다.

요약하자면, 장거리 증류법은 데이터 스케일링과 단일 단계 확률 모델링을 결합하여 장기 확률 예측을 단일 단계로 출력할 수 있는 조건부 확산 모델을 학습시키고, 분류기 없는 안내 기법을 통합하여 유연한 불확실성 보정을 달성합니다. 실험 결과는 다음과 같습니다...이 방법은 단기 예보부터 장기 예보까지 유럽 중기예보센터(ECMWF)의 운영 시스템과 유사한 성능을 달성했습니다.이 패러다임은 장기 날씨 예측에 대한 새로운 접근 방식을 제공할 뿐만 아니라 기후 과학 연구에 활용될 수 있는 일반적인 생성 모델을 구축하는 토대를 마련합니다.

글로벌 산학협력이 기상 기술 혁신을 가속화합니다

인공지능(AI)을 활용하여 장기 예보의 데이터 병목 현상을 해소하기 위한 합성 데이터 생성은 학계와 산업계가 함께 기상 예보 혁신을 촉진하는 중요한 방향으로 떠오르고 있습니다. 일련의 첨단 연구 및 엔지니어링 사례들이 등장하면서 장기 기상 예보는 이론적 탐구 단계에서 실제 적용 단계로 꾸준히 발전하고 있습니다.

학계에서는 학제 간 협력이 핵심적인 기술적 과제를 극복하는 데 중요한 열쇠가 되고 있습니다. 예를 들어,시카고 대학교의 "AI 기후 이니셔티브(AICE)"기후 과학, 컴퓨터 과학, 통계학 분야의 전문가들이 모여 기후 예측에 필요한 계산 비용을 획기적으로 줄이는 데 전념하는 이 단체는 일반 노트북으로도 고품질 예측을 생성할 수 있는 기술을 개발했습니다. 이 기술은 지역 간 날씨 예측 능력 격차를 줄이는 데 도움이 될 것으로 기대됩니다.

케임브리지 대학교는 튜링 연구소, 유럽 중기 기상 예측 센터 및 기타 기관과 협력하여 데이터 기반의 종합적인 예측 시스템인 아드바크 웨더(Aardvark Weather)를 공동 개발했습니다.이 시스템은 여러 관측 데이터를 통합하여 전역 격자 예측과 지역 관측소 예측을 동시에 출력할 수 있으며, 10일 예측 기간에서 최적화된 운영 수치 모델과 유사한 성능을 보여줍니다. 이 시스템의 엔드투엔드 모델링 접근 방식은 장거리 증류를 통해 예측 과정을 단순화하려는 원래 의도와 매우 유사하며, 장기 예측 정확도를 향상시키는 기술적 모델을 제공합니다.

* 클릭하여 보기 아드바크 날씨 심층 분석:Nature, Cambridge University 등은 예측 속도를 수십 배나 높이는 최초의 엔드투엔드 데이터 기반 기상 예보 시스템을 출시했습니다.

* 논문 제목: 데이터 기반의 엔드투엔드 날씨 예측
* 서류 주소:

https://www.nature.com/articles/s41586-025-08897-0

산업계에서는 혁신적인 관행이 기술의 엔지니어링 구현과 시나리오 기반 적용에 더욱 집중되어 있습니다. 기술 기업들은 산학협력 및 독립적인 연구 개발에 적극적으로 참여함으로써 인공지능 기상학의 기술적 한계를 지속적으로 확장하고 있습니다. 예를 들어,마이크로소프트, 구글 딥마인드 등 여러 기관이 아드바크 날씨 시스템 개발에 깊이 관여했습니다.구글 딥마인드의 대규모 데이터 처리 및 딥러닝 아키텍처 분야의 강점은 기상 모델의 효율성과 정확도 향상으로 이어질 수 있습니다. 나아가, 구글 딥마인드의 생성 모델 및 확률적 예측 보정 전문성은 장거리 증류에서 앙상블 분산 제어와 같은 문제 해결에 중요한 통찰력을 제공합니다.

동시에 기업들은 특정 시나리오에 인공지능 기상 기술을 적극적으로 적용하고 있습니다. 예를 들어, 공원 관리 및 응급 구조 부서와 협력하여 정밀한 장기 예보 기술을 스마트 재난 예방 시스템에 통합하고 있습니다. 재난 발생 과정의 전 단계를 시뮬레이션하여 공원 안전, 용수 관리 계획, 농업 생산 등 다양한 시나리오에 맞춤형 예보 서비스를 제공함으로써 장기 기상 예보의 가치를 최종 사용자에게 실질적으로 제공하고 있습니다.

학계와 산업계의 이러한 탐구는 데이터 정제 및 단일 단계 모델링으로 대표되는 기술적 접근 방식의 실현 가능성을 검증했을 뿐만 아니라, "학문적 돌파구가 방향을 제시하고 엔지니어링 혁신이 구현을 주도하는" 선순환 구조를 점차 형성하여 전 세계 AI 기반 날씨 예측이 더욱 정확하고 효율적이며 포용적인 방향으로 지속적으로 발전하도록 공동으로 촉진해 왔습니다.

참조 링크:
1.https://climate.uchicago.edu/entities/aice-ai-for-climate/