NVIDIA/UC Berkeley 등은 1분 안에 15일 예보를 완료하고 단일 카드 초고속 추론을 지원하는 머신 러닝 날씨 예보 시스템 FCN3를 제안했습니다.
20세기에 처음 구상되고 점진적으로 발전해 온 수치 기상 예측(NWP)은 대기 현상에 대한 우리의 이해와 예측에 혁명을 일으켰습니다. NWP의 초기 발전은 컴퓨터 성능의 한계로 인해 더뎠습니다. 1950년대 컴퓨터 기술의 획기적인 발전이 이루어진 후에야 NWP 실험이 초기 성공을 거두었습니다. 1970년대에는 슈퍼컴퓨터의 성능이 향상되면서 NWP가 실제 운영 환경에서 널리 사용되기 시작했습니다. 오늘날, 수학적 모델링의 지속적인 최적화, 컴퓨팅 성능의 급격한 향상, 그리고 데이터 동화 기술의 지속적인 개선을 통해 NWP는 기상 예측, 방재, 에너지 관리, 기후 연구 등 다양한 분야에서 필수적인 도구로 자리 잡았습니다.
그러나 기존의 NWP 모델은 항상 심각한 문제에 직면해 왔습니다.유체역학과 열역학 방정식의 수치적 해결에 기반을 두고 있기 때문에 계산량이 엄청나게 많습니다.고해상도 예측과 대규모 앙상블 예측의 경우 기존 NWP 모델의 계산 비용이 급격히 증가하여 빠르고 정확하며 대규모 확률적 앙상블 예측의 요구를 충족하기 어려워 실제 응용 분야에서의 추가 확장이 심각하게 제한됩니다.
이러한 문제를 해결하기 위해 NVIDIA, Lawrence Berkeley National Laboratory, University of California, Berkeley 및 California Institute of Technology의 공동 연구팀은구면 신호 처리와 히든 마르코프 앙상블 프레임워크를 결합한 확률적 머신 러닝 날씨 예보 시스템인 FourCastNet 3(FCN3)을 출시했습니다.
이 모델의 예측 능력은 기존 NWP 표준인 IFS-ENS를 능가하며 중기 예측의 경우 선도적인 확률적 ML 모델인 GenCast와 비슷하며 시간 분해능이 두 배 더 높습니다.단일 NVIDIA H100 GPU를 기반으로 15일 날씨 예보를 60초 만에 완료할 수 있습니다.GenCast보다 8배, IFS-ENS보다 60배 빠른 속도를 자랑합니다. 단일 카드 초고속 추론을 지원하며, 60일, 0.25° 해상도, 6시간 간격의 전 지구 예보를 4분 이내에 생성할 수 있습니다.
관련 연구 결과는 "FourCastNet 3: 규모에 따른 확률적 머신 러닝 날씨 예측에 대한 기하학적 접근법"이라는 제목으로 arXiv에 게재되었습니다.
서류 주소:
https://arxiv.org/pdf/2507.12144
공식 계정을 팔로우하고 "FCN3"이라고 답글을 달면 전체 PDF를 받을 수 있습니다.
더 많은 AI 프런티어 논문: https://go.hyper.ai/owxf6
FourCastNet 3 훈련을 위한 핵심 지원인 ERA5 데이터 세트
FourCastNet 3(FCN3)의 핵심 학습 데이터는 ERA5 데이터 세트에서 나왔습니다.이는 유럽 중기예보센터(ECMWF)에서 수십 년에 걸쳐 매시간 지구 대기 상태를 재분석한 자료입니다. ERA5는 4차원 변이동화 시스템을 사용하여 1979년 이후 다양한 출처(라디오존데, 위성, 항공기, 지상국, 부표 등)의 관측 데이터를 IFS 모델 상태와 통합합니다. 이를 통해 0.25° × 0.25°의 공간 분해능을 가진 전 지구 대기장(721 × 1440 위도 및 경도 격자에 표현됨)을 생성하며, 총 39.5TB의 데이터가 생성됩니다.
ERA5의 가장 큰 장점은 재분석 프로세스가 항상 동일한 IFS 사이클(예: CY41R2 및 이후 고정 구성)을 기반으로 한다는 것입니다.이를 통해 시간 축에서 동적 일관성을 유지할 수 있어 비즈니스 분석에서 모델 업그레이드로 인해 발생하는 기후 변화를 효과적으로 방지할 수 있습니다.이는 머신러닝 모델에 반복 가능하고 추적 가능한 "실제 대기" 벤치마크를 제공합니다. 또한, 여러 데이터 소스를 통합하고 각각의 불확실성 추정치를 완전히 고려함으로써 지구 대기의 역사를 일관되게 특성화할 수 있어, 머신러닝 모델이 행성 규모의 대기 역학을 근사하는 데 이상적인 목표가 됩니다.
FCN3를 훈련하기 위해 연구진은 ERA5에서 72개의 변수를 선택했는데, 여기에는 13개 등압면에서 7개의 지표 변수와 5개의 대기 변수가 포함됩니다. 모델은 최종적으로 6시간 간격으로 훈련되었지만, 데이터셋 크기를 극대화하고 모델의 일반화 능력을 향상시키기 위해 1980년부터 2018년까지의 시간별 샘플링 데이터를 사용했습니다.
데이터 세트는 세 부분으로 명확하게 구분됩니다.1980~2016년은 훈련 데이터셋, 2017년은 테스트 데이터셋, 2018~2021년은 독립 검증 데이터셋입니다(보고된 모든 지표는 2020년 검증 데이터셋을 기준으로 계산됩니다). 이렇게 구분하면 시간 누출을 효과적으로 방지할 수 있습니다.
훈련 전에 데이터를 정규화해야 합니다.입력과 출력 모두 z-점수 또는 최소-최대 정규화되어 구면에 대해 평균화됩니다. 수증기 관련 변수는 비음수성 제약 조건을 충족하기 위해 최소-최대 정규화를 사용하여 [0, 1]로 스케일링됩니다. 풍속장은 평균이 0이라고 가정하고 벡터 방향 정보를 보존하기 위해 총 풍속의 표준편차로 정규화됩니다. 정규화 상수는 먼저 구면에 대해 공간 평균을 구한 다음 전체 훈련 세트에 대해 시간 평균을 구하여 계산합니다.
이렇게 신중하게 선택, 분할, 처리된 데이터 세트는 FCN3가 1,000개 이상의 GPU에서 지구 대기의 확률적 진화를 종단 간에 학습할 수 있는 견고한 기반을 제공하며, 효과적인 모델 학습과 정확한 예측을 보장합니다.
확률적 머신 러닝 기상 예보 시스템 FourCastNet 3
FourCastNet 3(FCN3)은 인코더, 디코더, 8개의 신경망 연산자 블록으로 구성된 확률적 모델입니다.은닉 마르코프 모델 프레임워크에 따르면, 특정 시간 tₙ에서 0.25° 격자 대기 상태 uₙ가 주어지면, 이 모델은 6시간 후의 상태 uₙ₊₁=F_θ(uₙ, tₙ, zₙ)를 예측할 수 있습니다. 여기서 무작위성은 서로 다른 시공간 척도를 가진 여러 구형 확산 과정에서 비롯된 무작위 잡음 벡터(잡음 변수) zₙ-zₙ를 통해 도입되어 대기 진화의 불확실성을 포착합니다.
모델 아키텍처 측면에서 FCN3는 구면 신경 연산자 설계를 채택했으며, 그 핵심은 로컬 및 글로벌 구면 군 합성곱입니다. 즉, 회전 군 SO(3)의 작용 하에서 동등성을 유지하는 합성곱입니다.그 중 글로벌 합성 커널은 구면 합성 정리와 구면 조화 변환의 도움을 받아 스펙트럼 영역에서 매개변수화되며, 이는 고전적인 의사 스펙트럼 방법과 유사합니다. 로컬 합성은 이산-연속(DISCO) 합성 프레임워크를 기반으로 합니다. 이는 수치 적분을 사용하여 연속 영역 합성을 근사하고, 이방성 필터를 지원하며, 대기 현상의 기하학적 특성과 더 일치합니다.
전반적인 아키텍처는 인코더, 프로세서, 디코더로 구분됩니다.인코더는 721×1440 입출력 신호를 641차원 임베딩을 갖는 로컬 구면 합성곱 계층을 통해 360×720 가우시안 격자로 다운샘플링합니다. 프로세서는 ConvNeXt 구조를 사용하는 여러 구면 신경망 연산자 블록으로 구성됩니다. 실험 결과, 4개의 로컬 블록과 1개의 글로벌 블록을 쌍으로 구성하고, 물리적 프로세스의 절대값을 유지하기 위해 계층 정규화를 생략했을 때 예측 성능이 가장 우수함을 보여줍니다. 디코더는 쌍선형 구면 보간과 로컬 구면 합성곱 업샘플링을 결합하여 원래 해상도를 복원하고 앨리어싱을 억제합니다.
대부분의 기계 학습 날씨 모델이 예측과 입력의 차이인 "편향"을 예측하는 것과 달리 주목할 점은 다음과 같습니다.FCN3는 다음 순간의 상태를 직접 예측하여 고주파 아티팩트를 효과적으로 억제합니다.또한, 인코더와 디코더는 채널 간에 섞이지 않으며, 수증기 채널은 부드러운 스플라인 출력 활성화 함수로 처리되어 양의 값을 보장하고 고주파 노이즈를 줄입니다.
FCN3의 내부 표현이 방대하기 때문에 단일 GPU 메모리로는 처리하기 어렵고, 자기회귀 롤아웃은 여러 계산 결과를 동시에 저장해야 하므로 상당한 메모리 부담을 초래합니다. 이러한 이유로 아래 그림과 같이,연구팀은 확장 가능한 학습을 달성하기 위해 하이브리드 병렬 전략을 채택했습니다.한편으로는 기존 수치 기법의 공간 모델 병렬성(도메인 병렬성)을 활용합니다. 공간 도메인 분해를 통해 모델과 데이터를 여러 GPU에 동시에 분할하여 모든 공간 알고리즘을 분산 버전으로 재작성해야 합니다. 다른 한편으로는 집합 및 배치 병렬성을 포함한 데이터 병렬성을 통합합니다. 각 멤버는 손실 계산 전에 서로 독립적이므로 손실 단계에서만 통신이 필요하여 매우 높은 효율성을 제공합니다. 이러한 기능은 Makani 프레임워크에 구현되어 수천 개의 GPU로 확장성을 지원합니다.
훈련 과정은 세 단계로 나뉩니다.초기 사전 훈련은 6시간 예측 기술에 중점을 두었습니다. 1980년부터 2016년까지 ERA5 훈련 세트에서 매 시간 샘플을 사용하여 매 UTC 시간부터 시작하는 6시간 입력-목표 쌍을 구성했습니다. NVIDIA Eos 슈퍼컴퓨터에서 배치 크기 16, 앙상블 크기 16의 1,024개 H100을 사용하여 208,320단계로 78시간 동안 훈련했습니다.
두 번째 단계의 사전 학습은 4단계 자기회귀 롤아웃을 적용한 6시간 초기 필드를 기반으로 했으며, 512개의 A100이 장착된 NERSC Perlmutter 시스템에서 5,040단계(학습률을 840단계마다 감소)에 걸쳐 학습했으며, 이 과정에 15시간이 걸렸습니다.
미세 조정 단계는 2012년부터 2016년까지 6시간 분량의 샘플을 수집하여 총 8시간이 소요되었으며, Eos 시스템에서 256개의 H100 GPU를 사용하여 수행되었습니다. 이를 통해 잠재적인 분포 드리프트를 보정하고 최근 데이터에 대한 성능을 개선했습니다. 단일 그래픽 카드의 비디오 메모리 용량이 80GB로 제한되어 있어, 학습 과정에서 데이터와 모델을 공간적으로 병렬 슬라이싱하는 방식을 사용했습니다. 사전 학습은 4단계의 슬라이싱으로 나뉘었고, 미세 조정은 높은 자기회귀 요구 사항으로 인해 16단계의 슬라이싱으로 나뉘었습니다. 이를 통해 대규모 모델의 효율적인 학습이 가능해졌습니다.
성능 평가: FCN3는 기존 NWP를 전면적으로 능가하며 매우 낮은 비용으로 가장 진보된 확산 모델을 따라잡았습니다.
연구팀은 FourCastNet 3(FCN3)의 성능을 종합적으로 평가하기 위해 예측 정확도, 계산 효율성, 확률 보정, 물리적 충실도를 포함한 여러 핵심 측면에서 실험을 설계했습니다. 아래 그림에서 볼 수 있듯이, 핵심 성능 지표 측면에서 2020년 12시간마다 초기 현장 관측의 평균 결과(훈련 데이터 제외)는 다음과 같습니다.FCN3의 연속 등급 확률 점수(CRPS)와 앙상블 평균 제곱근 평균 오차(RMSE)가 우수한 성능을 보입니다.이 모델은 기존 물리적 수치 기상 예보의 황금 표준인 IFS-ENS를 전면적으로 능가할 뿐만 아니라, 현재 가장 우수한 데이터 기반 모델인 GenCast와의 격차도 거의 무시할 수 있을 정도입니다.
계산 효율성 측면에서 한 단계로 집합 멤버를 직접 생성하는 설계 덕분에FCN3는 단일 NVIDIA H100 GPU에서 약 60초 만에 15일, 6시간 간격, 0.25° 공간 해상도 예보를 완료할 수 있습니다.이에 비해 GenCast는 Cloud TPU v5 인스턴스에서 동일한 길이의 예보(FCN3의 절반에 불과한 시간 해상도)를 완료하는 데 8분이 걸리는 반면, IFS는 96개의 AMD Epyc Rome CPU에서 9km의 운영 해상도로 실행하는 데 약 1시간이 걸립니다. 하드웨어 및 해상도의 차이를 무시하면,FCN3는 GenCast보다 약 8배 빠르고 IFS-ENS보다 약 60배 빠릅니다.
CRPS와 RMSE는 점 단위로만 평가할 수 있고 시공간적 상관관계를 측정할 수 없다는 점을 고려하여, 연구팀은 사례 연구를 통해 모델의 물리적 충실도를 보완했습니다. 아래 그림과 같이, 2020년 2월 11일 00 UTC에 보고된 온대 저기압 데니스를 예로 들어, 아일랜드와 영국 제도에 상륙하기 48시간 전 850hPa 풍속과 500hPa 지구고도 예보 결과는 다음과 같습니다.FCN3는 이러한 기상 현상을 재현할 수 있으며, 풍속과 기압장 간의 공분산 관계는 합리적입니다.500 hPa 지위고도의 각도 파워 스펙트럼 밀도(PSD)는 정확한 기울기를 유지합니다. 예보 기간을 30일로 늘려도 각도 파워 스펙트럼은 감소하지 않으며 예보는 항상 선명한 해상도를 유지합니다.
2020년 전체에 대한 전력 스펙트럼 밀도와 실제 ERA5 값에 대한 상대 오차를 분석한 결과, 고파수 영역의 오차는 항상 제한적(-0.2~0.2)인 것으로 나타났습니다. 이는 모델 아키텍처에서 따르는 기하학적 및 신호 처리 원리와 로컬 및 글로벌 분포를 모두 고려하는 CRPS 손실 덕분입니다.모델이 올바른 공간적 상관관계를 학습하도록 장려합니다.
반면, 대부분의 결정론적 기계 학습 기상 모델은 고주파 정보의 상당한 감쇠와 모호한 예보 결과를 보입니다. CRPS를 사용하여 학습된 하이브리드 모델 NeuralGCM조차도 고주파 모드에서 상당한 모호성을 보입니다. 최신 확률론적 모델인 GenCast와 AIFS-CRPS는 정확한 스펙트럼 형태를 완전히 유지하지 못하고, 심지어 고주파 모드 축적을 경험할 수도 있는데, 이는 기존 수치 예보에서 패턴 발산의 전조 현상으로 여겨집니다.
대각선 스펙트럼, 구역 스펙트럼, 물리적 일관성에 대한 포괄적인 테스트를 통해 FCN3가 확률적 기술, 계산 효율성, 글로벌 규모 측면에서 전례 없는 스펙트럼 충실도와 물리적 현실성을 결합한 날씨 모델이라는 것이 확인되었습니다.60일 하위 계절 규모에서는 예측이 안정적으로 유지됩니다.이는 계절 외 예측과 대규모 앙상블 예측의 개발에 길을 열었습니다.
2020년 전체 연도의 전력 스펙트럼 밀도와 ERA5의 실제 값에 대한 상대 오차
확률적 기계 학습 기상 예보 시스템의 획기적인 발전과 전망
실제로, 글로벌 산업계, 학계, 연구 기관은 확률적 기계 학습 기상 예보 시스템 분야에서 심층적인 연구를 수행했으며, 일련의 영향력 있는 결과가 나타났습니다.
Google의 DeepMind 팀이 출시한 GenCast는이 확률적 기상 모델은 조건부 확산 모델을 기반으로 하며 해당 분야의 벤치마크로서 8분 이내에 15일간의 전 세계 무작위 예보 세트를 생성할 수 있으며, 12시간의 시간 간격과 0.25°의 해상도를 갖추고 80개 이상의 지표 및 대기 변수를 포괄합니다.
세계 최고 수준의 중기예보체계인 유럽중기예보센터(ECMWF) 앙상블예보(ENS)와 비교평가한 결과,GenCast는 1,320개 평가 지표 중 97.21개에서 TP3T보다 우수한 성과를 보였으며, 생성되는 한계적 예측 분포와 결합 예측 분포가 더 정확했습니다.
Microsoft의 Aurora AI 날씨 예보 모델은 딥러닝과 대규모 이기종 데이터 처리 기술을 통합했습니다.이는 날씨를 정확하게 예측할 수 있을 뿐만 아니라, 미세 조정을 거친 후에는 해류, 대기 질 등 다양한 자연환경 모니터링 분야에도 응용될 수 있습니다.훈련 데이터는 방대하여 위성, 레이더, 기상 관측소, 컴퓨터 시뮬레이션 등 다양한 출처에서 수집한 100만 시간 이상의 기상 및 환경 데이터를 포함합니다.
마이크로소프트 연구팀의 테스트 데이터에 따르면, 2022년부터 2023년까지 전 세계 열대성 저기압 예측 작업에서 Aurora의 궤적 예측 성능은 업계 경쟁사 및 기존 관측 및 추론 알고리즘보다 전반적으로 우수했습니다. 또한, 해양 파도 예측 및 대기 질 예측과 같은 복잡한 환경 시나리오에서도 높은 정확도를 보였습니다.
학술 연구 또한 풍성한 성과를 거두었습니다. 많은 대학에서 확률론적 머신러닝 기상 예보 시스템에 대한 심층 연구를 수행하여 획기적인 성과를 거두었습니다. 케임브리지 대학교와 앨런 튜링 연구소의 연구팀은 다른 접근 방식을 취하여 Aardvark 기상 시스템을 개발했습니다.이는 데스크톱 컴퓨터에서 학습하고 실행할 수 있는 최초의 시스템으로, 단일 AI 모델로 날씨 예보 과정의 모든 단계를 대체할 수 있습니다.처리 속도는 기존 방법보다 수천 배 빠릅니다.
이 시스템은 위성, 기상 관측소, 기상 관측 기구에서 수집된 복합적인 다중 모드 데이터를 효율적으로 처리하여 10일간의 전 세계 예보를 생성합니다. 4개의 NVIDIA A100 GPU를 사용하면 관측 데이터로부터 완전한 예보를 생성하는 데 약 1초밖에 걸리지 않습니다.
복단대학교 푸시팀이 제안한 푸시 날씨 시스템이는 데이터 동화(DA)와 주기적 예측을 독립적으로 완료할 수 있는 최초의 엔드투엔드 머신 러닝 글로벌 날씨 예측 프레임워크입니다.다중 소스 위성 관측 데이터를 융합하여 0.25°의 해상도로 신뢰할 수 있는 10일 예보를 생성합니다. 중앙 아프리카와 같이 관측이 드문 지역에서도 유럽 중기 기상 예보 센터(ECMWF)의 고해상도 예보(HRES)를 능가하는 성능을 보입니다.
이러한 탐구와 혁신은 확률론적 머신러닝 기상 예보 시스템의 정확도, 효율성, 그리고 적용 범위를 더욱 확대할 뿐만 아니라, 기후 변화, 기상 재해의 영향 완화, 에너지 활용 최적화와 같은 글로벌 문제 해결을 위한 강력한 기술 지원을 제공합니다. 기술의 지속적인 발전과 학제 간 협력 심화를 통해 미래의 확률론적 머신러닝 기상 예보 시스템은 대기의 복잡한 역학을 더욱 정확하게 포착하여 더욱 강력한 기상 방어 체계를 구축할 것입니다.
참고문헌: