데이터 사일로, 컴퓨팅 소비 및 오류 누적 문제를 해결한 상하이 인공지능 연구소의 Su Rui: FengWu-GHR은 AI 기상 예보에서 여러 가지 획기적인 성과를 달성했습니다.

"AI 기술이 등장하기 전에는 날씨 예보 능력을 하루라도 향상시키려면 10년이 걸렸지만, AI가 도입된 후에는 몇 개월 만에 예보 능력을 향상시킬 수 있습니다."

2024년 베이징 지위안 학술대회의 "과학을 위한 AI" 포럼에서 상하이 인공지능연구소의 젊은 연구원인 수루이는 AI 기상예보의 역사적 발전을 검토하고, 이 분야가 직면한 과제를 심도 있게 논의했으며, 그의 팀의 연구 결과인 FengWu-GHR을 포괄적으로 소개했습니다.

HyperAI는 수루이 교수의 심도 있는 공유 내용을 원래 의도를 훼손하지 않고 편집하고 요약했습니다. AI 기상학의 최신 동향을 알아보자!

오늘,제가 여러분과 공유할 주제는 "미래 탐험, 지능적 날씨 제어 - 지구 과학 연구에서 인공지능의 최전선 진보"입니다.

소위 지구과학 연구는 주로 대기권, 해양권, 생물권, 지각권과 이들 간의 상호작용, 교환, 순환 과정에 대한 연구를 말합니다. 실제로 대기와 해양의 순환은 지구의 기상, 기후, 생태계 등에 큰 영향을 미칩니다. 대기와 해양의 변화를 시뮬레이션하고 분석하여 날씨와 기후 등을 예측하는 것은 인간의 지속 가능한 발전에 매우 중요합니다.

AI 예측 대 디지털 예측

과거에는 물리학 기반 디지털 예측 모델 연구에 큰 진전이 있었지만, 개발 속도가 여전히 느리고 컴퓨팅 성능에 대한 요구가 매우 큽니다. 다양한 분야에서 딥러닝과 인공지능이 성공적으로 적용되면서, 점점 더 많은 연구 기관에서 날씨 예측을 위해 데이터 기반 방법을 사용하기 시작했습니다.

예를 들어,유럽 중기 기상 예보 센터는 국제적으로 인정받는 기관입니다.저희는 2018년부터 기상예보에 딥러닝 기술을 활용하려는 노력을 주도해 왔지만, 당시 기상데이터의 해상도가 낮아 그 효과는 미미했습니다.

2022년 2월NVIDIA, FourCastNet 날씨 모델 출시처음으로 0.25° 고해상도 기상 데이터를 기반으로 예보가 이루어졌지만, 이 모델은 여전히 유럽 중기 기상 예보 센터에서 사용하는 물리적 디지털 예보 모델을 능가하지 못했으며, 이 모델은 소수의 기상 요소만 예측할 수 있습니다.

2022년 11월화웨이, 판구 날씨 모델 출시해당 모델이 고해상도 기상 데이터에서 유럽 중기 기상 예보 센터의 IFS 모델보다 우수한 성능을 보였다는 발표는 큰 획기적인 사건으로 여겨졌습니다.

한 달 후,딥마인드  이 회사는 GraphCast 날씨 모델을 출시했습니다.이 모델의 주요 특징은 더욱 다양한 기상 요소를 예측할 수 있다는 것입니다.

2023년 4월우리 팀(상하이 인공지능 연구소)은 자체 대규모 기상 모델인 FengWu를 출시했습니다.FengWu는 이전 모델과 비교했을 때 성능이 크게 개선되었습니다.

AI 기반 FengWu 모델, 최적의 태풍 궤적 예측 능력 달성

풍우 모델의 영감, 롤링 포캐스트

지구를 평면으로 펼치고 평면을 격자로 표시하면 지구의 경도와 위도를 0.25°의 공간 분해능(약 25km의 축척에 해당)으로 나눌 수 있습니다. 즉, 지구는 약 720×1440개의 격자점으로 나뉘고, 각 격자점은 수직 높이를 기준으로 37개의 다른 레벨로 나뉘며, 여기에는 온도, 습도, 풍속, 해수면 온도, 표면 풍속 등 169개의 변수가 포함됩니다. 기상예보는 전 지구 기상요소장을 기반으로 전 지구 기상요소장의 미래 변화를 예측하는 것입니다.

지난 40년간 매시간 전 세계 기상 원소장 데이터를 분석한 결과, 저희 팀은 각 순간의 전 세계 기상 원소장이 실제로는 이전 순간의 원소장에 대한 자연스러운 주석이라는 사실을 발견했습니다. 따라서 추가적인 라벨이 붙은 데이터가 필요 없이, 두 개의 인접한 시간 지점에서 기상 요소장 간의 관계만 예측하면 미래의 기상 요소장의 변화를 예측할 수 있습니다.이것이 바로 FengWu 모델의 원래 영감이었습니다.

구체적으로, 풍우 모델은 다음 순간의 기상 요소장을 예측한 후, 이를 입력으로 사용하여 다음 순간의 기상 요소장을 예측하는 식으로 진행됩니다.이러한 연속 예보를 통해 향후 14일 동안 예측할 수 있는 기상 요소 분야를 생성할 수 있습니다.

두 가지 주요 장점: 장기 예측 기술 + 높은 컴퓨팅 효율성

풍우모델에는 두 가지 주요 장점이 있다.하나는 장기적인 사전 예측 능력을 갖추는 것입니다.10.75일의 예보가 가능합니다. 실제로 AI 방법이 등장하기 전에는 물리학 기반 디지털 예측 모델을 사용하면 평균 10년마다 예측 능력이 하루 정도 향상될 수 있었습니다. AI가 도입된 후, 예측 능력은 단 몇 개월 만에 향상될 수 있습니다.

FengWu 모델의 또 다른 장점은 계산 효율성입니다.과거에는 물리 기반 디지털 예측 모델을 사용하려면 향후 10일간의 예측 결과를 생성하기 위해 10,000개의 컴퓨팅 노드를 1시간 동안 실행해야 했습니다. FengWu 모델은 단 하나의 GPU를 30초 동안 실행하여 같은 시간 안에 예측 결과를 완료하는데, 이는 기존 방법보다 2,000배 이상 빠릅니다.

엇갈린 감정: 태풍 예보에 있어 FengWu의 강점과 과제

태풍 궤적 예측에 있어 FengWu 모델의 능력을 평가하기 위해 저희 팀은 2023년 이후 태풍 데이터를 사용하여 이를 테스트하고, 테스트 결과를 유럽 중기 기상 예보 센터, 일본 기상청, 미국 기상청 및 기타 기관의 결과와 비교했습니다.

결과는 태풍 경로를 0~120시간 전에 예측할 경우,FengWu 모델은 각 노드에서 태풍 위치를 예측하는 데 가장 작은 오차를 보입니다.

기존의 물리적 방법과 비교했을 때,태풍 강도를 예측하는 AI의 능력에는 아직 차이가 있습니다.이는 모든 현재 AI 기반 모델이 데이터 기반 방식으로 훈련되기 때문입니다. 태풍과 같은 극한 기상 현상에 대한 데이터가 상대적으로 적기 때문에 AI 모델은 극한 기상을 예측할 때 결과를 부드럽게 만드는 경향이 있으며, 이로 인해 태풍 강도 예측의 성과가 약해집니다.

FengWu-GHR: AI 예측 해상도가 처음으로 0.09°로 증가했습니다.

긴급하게 해결해야 할 문제: 고해상도 및 장기적 오류 누적

실제로 풍우모델 개발을 완료한 후, 우리는 기상 분야의 많은 전문가로부터 피드백을 받았습니다. 피드백 중 하나는 FengWu가 0.25° 고해상도 예측을 달성할 수 있었지만하지만 그들은 여전히 더 높은 해상도의 날씨 예보를 얻기를 바라고 있습니다.또 다른 피드백은 다음과 같습니다.장기 예측으로 인해 발생하는 오차 누적 문제는 더욱 해결되어야 합니다.

왜 우리는 더욱 정교하고 해상도가 높은 날씨 예보가 필요한가?

예를 들어 상하이의 표면 온도 그래프를 보면, 상하이는 크지 않지만 지역별로 온도 차이가 뚜렷하다는 것을 알 수 있습니다. 남북 거리가 80km에 불과할 경우, 0.25° 기상예보모델을 사용하여 예측을 하더라도 약 3개 격자점의 데이터만 얻을 수 있어 날씨 분포의 세부적인 내용을 기술하기에 부족합니다. 고해상도의 예보 데이터는 대기 운동을 더 정확하게 시뮬레이션하여 더욱 정교한 예보 결과를 얻을 수 있습니다.

이 문제를 해결하기 위해 우리는 0.09°의 고해상도로 구현된 최초의 AI 날씨 예보 모델인 FengWu-GHR 모델을 출시했습니다. 구체적인 구현 과정은 쉽지 않습니다.

첫째, 해상도를 0.25°에서 0.09°로 높이면 계산량과 메모리 소비가 80배 이상 증가합니다. 둘째, 고해상도 기상 분석 데이터는 극히 부족한데, AI 모델은 학습을 위해 방대한 양의 데이터가 필요하기 때문에 고해상도 AI 기상 모델을 처음부터 학습시키는 것은 매우 어렵습니다.

이러한 문제를 해결하기 위해 우리는 고해상도 대기 운동을 두 가지 다른 구성 요소로 분해하려고 시도했습니다.

첫째, 대량의 저해상도 데이터를 사용하여 모델(메타모델)을 학습합니다. 그런 다음 고해상도 기상 데이터를 여러 개의 저해상도 기상 데이터로 분해하고, 메타 모델을 사용하여 각 기상 데이터를 예측합니다. 마지막으로, 이러한 예측 결과를 결합하여 고해상도의 날씨 예측 결과를 얻습니다.

그러나 이러한 접근 방식은 고해상도 데이터의 비선형 관계를 충분히 활용하지 못합니다. 따라서 이를 바탕으로 새로운 모듈과 소수의 매개변수를 도입하고, 고해상도 데이터를 사용하여 모듈을 학습시켜 고해상도 영역 간의 비선형 결합 관계를 더 잘 포착할 수 있도록 했습니다.

구체적으로 위 그림의 왼쪽에 있는 아이콘은 원래의 고해상도 필드인데, 이를 4개의 서로 다른 저해상도 필드로 나누어 언어 모델에 의해 예측한 것입니다. 결합 후 고해상도 필드의 예측이 얻어지고, 마지막으로 새로 추가된 모듈을 사용하여 비선형성을 포착합니다.

장기 예측의 누적 오차 문제를 다룰 때,판구는 이 문제를 해결하기 위해 각 예측 시점마다 별도의 교육 모델을 사용합니다. 이는 효과적인 방법이지만, 훈련 비용이 매우 높습니다. 따라서 우리는 예측 과정의 각 단계에 LoRA 모듈을 추가하고 적은 수의 매개변수로 각 단계를 훈련시켰습니다. 이는 예측의 각 단계마다 새로운 모델을 갖는 것과 같지만, 필요한 매개변수의 수가 적어 계산 비용이 크게 줄어듭니다.

모델 평가: FengWu-GHR, 기상예보의 추가 업그레이드 달성

IFS만이 0.09° 분해능 결과를 달성했으므로 이를 참조 표준으로 사용하여 테스트 결과를 검증합니다.

결과에 따르면 FengWu-GHR은 RMSE와 ACC 지표에서 확실한 이점을 보였으며, RMSE는 낮고 ACC는 높았습니다.

편향 지표는 예측 결과의 편차를 측정하는 데 사용됩니다. FengWu-GHR이 0에 가까울수록 검사 결과가 더 좋습니다. 활동 지표를 사용하면 예측 시간이 길어질수록 예측 결과가 더 모호해지는지 측정할 수 있습니다. 결과는 FengWu-GHR의 예측 결과가 점차 매끄러워지는 경향을 보이며, 이 모델은 여전히 극한 날씨 예측에 대한 매끄러움 효과를 해결하지 못했습니다.

현장 데이터와 18,000개의 다양한 기상 관측소의 실시간 관측 데이터를 분석하여 2022년 7월부터 12월까지의 데이터를 사용하여 모델을 검증하고, 이를 IFS_HRES 및 Pangu 모델과 비교합니다.FengWu-GHR은 며칠 전에 얻은 결과를 예측하는 데 유리합니다.

또한, FengWu-GHR은 폭염 예측 및 한파 예측에도 장점이 있습니다.

오늘은 중기 날씨 예보에 관해 이야기해보겠습니다. 실제로 대기 분야의 예보 규모는 1~3일 예보, 장기 예보, 계절별 기후 예보 등 매우 다양합니다. 현재는 중기 예보 역량 연구에 주력하고 있지만, 앞으로는 중기 예보에서 기후 예보로 확장 가능한지, 기후 변화 및 미래 발전 추세를 더욱 심층적으로 연구할 수 있는지 모색하고자 합니다.