머신러닝 Vs. 수치적 기상 예측: AI가 기존 기상 예측 모델을 어떻게 바꿀 수 있을까?
수치적 기상 예측은 기상 예보의 주류를 이루는 방법입니다. 이는 연역적 추론의 과정인 수치적 적분을 통해 격자 단위로 지구 시스템의 상태를 해결합니다.
그러나 날씨 예보의 해상도가 점점 높아지고 예보 시간이 점차 길어짐에 따라 NWP 모델에 필요한 컴퓨팅 파워가 급격히 증가하여 개발이 제한되었습니다. 반면, 인공지능을 기반으로 한 데이터 기반 날씨 예측은 급속히 발전하고 있으며, 일부 분야에서는 기존 방법을 능가했습니다.
기존의 머신러닝 날씨 예측은 얼마나 정확합니까? 인공지능은 날씨 예보를 어떻게 바꿀 것인가? 이 글에서는 여러 가지 데이터 기반 머신 러닝 날씨 예보 모델을 비교하고, 날씨 예보의 미래 발전을 기대합니다.
저자 | 쉐차이
편집자 | 산양
수치 기상 예측: 450억 개의 편미분 방정식
수치 기상 예측(NWP)은 기상 예보 분야의 주류를 이루는 방법입니다.. 20세기 초, 아베와 비에르크네스는 사람들이 물리 법칙을 사용하여 날씨를 예측할 수 있다고 제안했습니다. 현재 날씨 상황을 초기값으로 삼아 통합하고 미래 날씨를 예측할 수 있었습니다. 하지만 당시 기상학에 대한 연구는 충분히 심도 있지 않았고 컴퓨팅 수준도 상대적으로 뒤떨어져 있어 이 아이디어는 실현될 수 없었습니다.
1950년에 플런더 대학은 최초의 전자 컴퓨터를 사용하여 날씨 예보를 시도했습니다. 1954년, 스톡홀름에서 최초로 실시간 날씨 예보가 시행되었습니다.
각 메시 셀의 물리 법칙을 기반으로 한 미분 방정식 시스템을 풀어보세요.
1970년대까지는슈퍼컴퓨터의 등장으로 Abbe와 Bjerknes가 제안한 방정식의 전체 집합을 풀 수 있게 되었습니다.. 1979년, 유럽 중기 기상 예보 센터(ECMWF)가 최초의 중기 기상 예보를 편찬하여 통합 예보 시스템(IFS)의 첫 장을 열었습니다.
그러나 에드워드 N. 로렌츠는 그의 전임자들의 경험을 요약했습니다.기상 시스템은 혼돈스러운 시스템이라고 제안되었습니다., 변수의 미세한 변화에 따라 크게 달라질 수 있습니다. 반면에,사람들이 기상 체계의 초기 상태를 완전히 이해하는 것도 어렵습니다.. 이러한 목적을 위해 학계에서는 앙상블 예측을 사용하여 초기 매개변수와 예측 모델의 불확실성을 최소화합니다. 예측 결과의 수집은 확률적 예측의 기초입니다.
강수 확률 앙상블 예측의 개략도
수치모델, 슈퍼컴퓨팅, 데이터 동화, 앙상블 예측 기술의 발전으로 수치 일기예보의 정확도는 꾸준히 향상되었으며, 예측 시간도 3일, 5일에서 7일, 심지어 10일로 점차 늘어났습니다..
북반구와 남반구(SH, NH)의 시간 경과에 따른 기상 예보 기술의 발전
현재 ECMWF 예측 모델은 10분 간격으로 각 수평 계층에서 200만 개의 그리드 셀에 대한 10일 예측을 하루에 두 번 실행해야 합니다.따라서 2.5시간 안에 약 400억 개의 그리드에 대한 계산을 완료해야 하며, 이를 위해서는 매우 높은 컴퓨팅 비용이 필요합니다.
높은 계산 비용으로 인해 수치 기상 예측 방법의 추가 개발이 방해받고 있습니다.. 모델 해상도와 앙상블 크기 간의 균형을 찾는 방법은 앙상블 예측을 제한하는 족쇄가 되었습니다.
데이터 기반 머신 러닝 접근 방식의 증가
최근에,데이터 기반 머신 러닝(ML)은 날씨 예보에 큰 잠재력을 보여줍니다.. 2022년 이래로 기상 예보 분야의 머신 러닝 모델은 일련의 획기적인 발전을 이루었으며, 그 중 일부는 유럽 중기 기상 예보 센터의 고정밀 예보에 필적할 만한 수준입니다. 데이터 기반 날씨 예보 추론은 통합 예보 시스템(IFS)의 물리적 모델보다는 머신 러닝 모델에 의존합니다.이 방법의 예측 속도는 기존 방법보다 몇 배나 빠릅니다.. 또한, 머신 러닝을 기반으로 한 날씨 예보는 전통적인 연역적 추론보다는 귀납적 추론의 결과입니다. 논리의 패러다임 전환은 날씨 예보를 해석하는 방식을 바꾸었습니다.이러한 결과는 이전 데이터로부터 얻은 결과이므로 더욱 설득력이 있습니다..
데이터 세트: 1940년부터 현재까지 0.25° 재분석 데이터
대규모 고품질 오픈 기상 데이터 세트 덕분에 데이터 기반 모델이 등장했습니다.. 기존의 머신 러닝 날씨 예보 모델은 유럽 중기 날씨 예보 센터의 5세대 재분석 데이터를 사용하여 훈련되었습니다.ERA5 재분석 데이터 세트. 2016년 통합 예보 시스템(IFS)의 현재 버전이 출시되었을 때, 1940년부터 현재까지의 날씨 데이터를 재분석하여 0.25°(30km)의 해상도를 가진 ERA5 데이터 세트를 생성했습니다.
FourCastNet: IFS와 비슷한 정확도를 가진 DL 모델
2022년에 NVIDIA는 푸리에 예측 신경망을 기반으로 FourCastNet을 출시했습니다.0.25° 해상도의 최초 딥러닝 날씨 예보.
FourCastNet 아키텍처 다이어그램
FourCastNet은 해상도를 개선하면서도 이상 상관 계수(ACC)와 평균 제곱근 오차(RMSE) 측면에서 기존의 수치 기상 예측과 크게 뒤처지지 않았습니다.
FourCastNet과 수치 기상 예측의 ACC 및 RMSE 비교
Node-Hour에서는FourCastNet은 기존 수치 기상 예측 모델보다 약 45,000배 더 빠릅니다.고해상도의 정확도와 결합된 덕분에 대규모 앙상블 예측 비용이 빠르게 감소했습니다.
GraphCast: GNN 기반 전 세계 중기 날씨 예보
GraphCast는 그래프 신경망(GNN)을 기반으로 한 신경망입니다."인코딩-프로세스-디코딩" 구성 채택총 3,670만 개의 매개변수가 있습니다.
인코더는 단일 레이어 GNN을 통해 입력 그리드의 변수를 내부 다중 그리드에 매핑합니다.
멀티그리드는 공간적으로 동질적인 그래프입니다.전 세계적으로 고해상도로 제공됩니다. 멀티 메시는 정이십면체(12개의 노드, 20개의 면, 30개의 모서리 포함)를 6번 반복하여 형성되며, 각 반복은 하나의 삼각형을 4개의 작은 삼각형으로 나누고 해당 노드를 구에 투영하여 메시를 세부화합니다.최종 멀티그리드에는 40,962개의 노드가 포함됩니다.그리고 세분화 과정 동안 모든 그래프의 모서리를 탐색하여 길이가 다른 모서리를 포함하는 계층적 그래프를 형성합니다.
프로세서는 16개의 비공유 GNN 레이어를 사용합니다.여러 그리드를 통한 메시지 전달. 디코더는 단일 계층 GNN을 사용하여 프로세서가 학습한 특징을 다중 그리드에서 경도 및 위도 시스템으로 다시 매핑합니다.
GraphCast 프레임워크
ac: GraphCast의 입력-예측-반복 프로세스
df: GraphCast 인코딩-처리-디코딩 구성;
g: 다중 그리드 세분화 프로세스.
유럽 중기 기상 예보의 고해상도 예보(HRES)와 비교했을 때,GraphCast는 ACC와 RMSE보다 성능이 뛰어납니다.
GraphCast와 HRES 간의 예측 RMSE(a&b)와 ACC(c) 비교
GraphCast는 32개의 Cloud TPU v4 디바이스에서 3주간의 학습을 거쳐 1979년 이후의 ERA5 데이터를 학습했습니다. 그 다음에, GraphCast는 단일 Cloud TPU v4 장치에서 60초 안에 0.25°의 해상도와 6시간 간격으로 10일 날씨 예보를 생성할 수 있습니다.
Pangu: ViT 기반 대형 3D 기상 모델
판구 기상모델의 입력과 출력은 모두 3차원 기상장이다.. 기상장의 경도와 위도의 분포가 불균일하기 때문에,판구 기상 모델은 3D 비전 트랜스포머(ViT)를 사용하여 기상 데이터를 처리합니다.정확도가 처음으로 주류 통합 예보 시스템(IFS)의 정확도를 넘어섰습니다.
3D 비전 트랜스포머 아키텍처
예측 시간이 3일보다 길면 RMSE 관점에서 볼 때,판구 기상모델과 IFS의 성능은 비슷하다이는 ERA5의 훈련 세트보다 더 뛰어납니다.
T850과 Z500에 대한 다양한 모델의 예측 성능 비교
a&b: 서로 다른 모델이 각각 T850과 Z500을 예측할 때의 RMSE;
c&d: T850과 Z500에서 각각 다른 모델에 의해 예측된 활동 강도.
e&f: 다양한 모델이 각각 T850과 Z500을 예측할 때의 편차.
요약하자면, 데이터 기반 머신 러닝 기상 예보는 예측 정확도 측면에서 기존의 수치 기상 예보 모델과 유사하지만, 컴퓨팅 장비와 컴퓨팅 속도는 수치 기상 예보 모델을 훨씬 능가합니다. 이는 AI 기상 예보가 실제 응용 분야에서 상당한 잠재력을 가지고 있음을 보여줍니다.
머신 러닝과 수치 예측 = 정확도 + 속도
머신 러닝은 날씨 예보 안팎에서 엄청난 속도로 발전하고 있습니다.. 유럽 중기 기상 예보 센터는 NVIDIA, Huawei, Deepmind 등 여러 회사와 함께 데이터 기반 기상 예보의 급속한 증가를 관찰해 왔습니다.
NVIDIA Earth-2 팀의 아니마 아난드쿠마르는 "FourCastNet은 0.25° 해상도를 갖춘 최초의 AI 기반 기상 예보 시스템이자 최초의 오픈 소스 기상 예보 시스템입니다. 새로운 버전은 모델의 중기 성능과 장기 안정성을 크게 향상시켰으며, 신경망 연산자 프레임워크를 통해 초고해상도 달성을 목표로 합니다."라고 말했습니다.
ECMWF는 안정적인 수치 모델과 함께 이러한 머신 러닝 모델을 사용자에게 제시하여 애플리케이션 측면에서 시스템의 작동과 성능을 평가하도록 합니다.모델의 정확성, 신뢰성, 불확실성, 상호작용성은 기상 제품의 품질과 효과를 평가하는 데 있어 중요한 요소입니다.
이를 위해 유럽 중기 기상 예보 센터는 IFS 초기 조건에 기반한 FourCastNet, PGW 및 GraphCast의 예측 결과를 공개했습니다. Florian Pappenberger는 다음과 같이 말했습니다.개방성은 혁신, 협력, 탐구의 열쇠입니다. 데이터, 방법, 결과를 공유하고, 비교와 분석을 실시함으로써 우리는 과학적 발전을 가속화하고 궁극적으로 사회에 이바지할 수 있습니다."
기상 AI의 3대 공공데이터
유럽 중기 기상 예보 센터의 비교에서 볼 수 있듯이, AI 기반 기상 예보는 일부 성능 측면에서 수치 기상 예보와 비슷한 수준을 보이고 있으며, 앞으로 중요한 역할을 할 것입니다. 하지만,이러한 모델은 아직 포괄적인 예측 기능을 갖추고 있지 않습니다. 이는 중장기적 시간 척도에 대한 가치 있는 예측을 제공하는 데 중요합니다.
오픈 액세스, 비교 최적화 및 이식성을 갖춘 AI는 기존 날씨 예보에 그 장점을 침투시키고 있습니다.. AI는 슈퍼컴퓨터의 도움 없이도 날씨 예측을 할 수 있을 뿐만 아니라, 극한 기후 현상에도 뛰어난 성과를 보입니다. 저는 AI가 수치적 기상 예보와 함께 기상 예보 방식에 혁명을 일으켜 농업, 임업, 축산, 어업, 항해 및 항공우주 분야의 발전에 기여할 수 있다고 믿습니다.
참조 링크:
[1]https://journals.ametsoc.org/view/journals/mwre/29/12/1520-0493_1901_29_551c_tpbolw_2_0_co_2.xml
[2]https://cir.nii.ac.jp/crid/1573668925699683328
[3]https://www.nature.com/articles/nature14956
[4]https://arxiv.org/abs/2202.11214
[5]https://arxiv.org/abs/2212.12794
[6]https://phys.org/news/2023-09-ai-weather-showcase-data-driven.html
[7]https://arxiv.org/abs/2307.10128
-- 위에--