DeepMind와 Google Research가 협력하여 AI 기상 예보를 위한 "육각형 전사"를 만들었습니다.

네이처는 12월 10일 2024년 최고의 10인을 발표했습니다. 노벨상만큼 금 함량이 인상적이지는 않지만, 100년 이상의 역사를 가진 이 최고의 학술지는 과학 진보의 증인이라고 할 수 있으므로, 이 10인은 어느 정도 올해의 중요한 과학 사건을 대표하기도 합니다. 최종 후보자 명단에는구글 딥마인드의 연구원인 레미 램도 그중 한 명입니다.

Nature는 다음과 같이 보도했습니다.램은 기계 학습을 사용하여 날씨 예보를 개선하는 데 앞장서 왔습니다.이 분야는 지난 몇 년 동안 엄청나게 발전했으며, 램과 그의 팀은 선두에 섰습니다. Microsoft, Nvidia, Huawei 및 유럽 중기 기상 예보 센터(ECMWF)와 같은 회사/기관은 AI 지원 기상 예보 시스템을 개발하기 위해 경쟁하고 있습니다. "하지만 올해 대부분의 기간 동안 정확도 부문에서 선두를 차지한 것은 램이 이끄는 GraphCast라는 프로젝트였습니다."

목록이 발표되기 직전에 램의 팀은 새로운 날씨 예보 모델인 GenCast를 제안했는데, 이는 새로운 기록을 세웠다는 점이 주목할 만합니다.15일간의 전 세계 날씨 예보를 무작위로 8분 안에 생성할 수 있습니다.80개 이상의 표면 및 대기 변수를 다룹니다.

일부 독자는 DeepMind나 Google이 날씨 예측을 위해 AlphaFold의 개발 경로를 선택하지 않은 이유가 무엇인지 궁금해할 것입니다. 즉, 동일한 모델을 계속 반복하여 "놀라운" 제품을 만드는 것이 아니겠습니까? 저자는 한편으로는 이것이 예측 주기와 밀접한 관련이 있다고 대담하게 추측합니다. 단기, 중기, 장기 날씨 예보는 각기 다른 시나리오에 적용 가능하며 정확도 요구 사항도 다르기 때문에 일관성을 유지하기 어렵습니다. 반면, 이는 현재 기상 예보 분야가 직면한 기술적 경로, 즉 AI가 세계를 지배할 것인지, 아니면 전통적인 수치 예보와 AI 예보가 공존할 것인지에 대한 탐구와도 관련이 있습니다.

단기/중기/장기 예측을 고려하여 기존 방식과 AI를 통합합니다.

단기 예측,일반적으로 다음 1~3일 동안의 날씨 상황을 말하며, 기온, 강수량, 풍속 및 풍향 등 비교적 자세한 날씨 변화 정보를 제공하여 주로 사람들의 일상생활에 대한 지침을 제공하고 폭우 시 적시에 예방 조치를 취하는 데 사용됩니다.중기 예측,다음 3~10일간의 날씨 예보를 말합니다. 추세 예측은 범위가 더 넓으며 주로 농업 계획, 저수지 계획, 홍수/가뭄 경보, 물류 공급망 계획에 사용됩니다.장기 예측,10일 이상 미래의 날씨를 예보하는 것으로, 변화하는 추세와 기후 패턴을 제공하며, 인프라와 같은 대규모 프로젝트를 계획하거나, 한파와 고온 등 극한 날씨로 인한 의료 자원 부족에 대비해 보건 부서에서 사전에 예방 조치를 취하는 데 활용할 수 있습니다.

기술적인 측면에 초점을 맞춰서,단기 예측에는 더 높은 시간 해상도와 딥 러닝을 기반으로 한 시계열 모델과 같은 정교한 모델이 필요합니다. 중기 예측에서는 보다 장기적인 관점에서 대기와 해양의 역동적인 과정을 고려해야 합니다. 장기 예측은 고해상도 수치 시뮬레이션보다는 패턴 인식과 통계에 기반을 두는 경향이 있습니다.

일반적으로 단일 모델로 단기, 중기, 장기 예측의 복잡성을 동시에 충족하는 것은 어렵습니다. 예를 들어, 단기 예측에는 높은 해상도가 필요한 반면, 장기 예측에는 광범위한 적용 범위가 필요합니다. 단기 날씨 예보는 더 정확하지만, 장기 날씨 예보는 오차가 더 큽니다.이러한 차이로 인해 모델은 서로 다른 작업 간에 균형을 맞춰야 하며, 이로 인해 모델 최적화가 더욱 어려워집니다.

따라서 현재 대부분의 연구 결과는 단일 작업에 대한 높은 정확도와 짧은 시간 소모를 목표로 합니다. 구글 역시 처음에는 이 전략을 채택했습니다.

2023년에는 램이 담당하는 GraphCast가 출시되었습니다. 이는 DeepMind가 중기 날씨 예측을 위해 제안한 그래프 신경망을 기반으로 한 자기회귀 모델입니다. 재분석 데이터로부터 직접 학습이 가능하며, 1분 이내에 0.25°의 해상도로 전 세계적으로 향후 10일간의 수백 가지 기상 변수를 예측할 수 있습니다. 1,380개의 검증 대상 중 GraphCast는 90% 대상에서 가장 정확한 결정론적 비즈니스 시스템보다 상당히 우수한 성능을 보였습니다.

예측 속도 측면에서 볼 때, 60초 안에 10일 분량의 날씨 예보를 완료하려면 단일 Google TPU v4가 필요합니다.

6시간 전의 날씨 상황과 현재 날씨 상황을 입력하기만 하면 GraphCast가 다음 6시간 동안의 날씨 상황을 예측해 드립니다. 이 프로세스는 6시간 단위로 진행되어 최대 10일 분의 현재 예보를 제공합니다.

2024년에 Google Research는 NeuralGCM을 출시했습니다. 이 장기 날씨 예보 도구의 이름은 연구팀이 선택한 기술적 경로를 보여줍니다. Neural은 신경망이고, GCM은 물리 기반 날씨 시뮬레이터인 General Circulation Models의 전체 이름입니다. 이름에서 알 수 있듯이,NeuralGCM은 대기 역학을 위한 미분 가능한 솔버와 머신 러닝을 결합합니다.전통적인 물리학적 방법과 AI를 결합하는 것이 바로 현재 날씨 예보 연구 분야의 일반적인 추세입니다.

AI가 기상 연구에 혁명을 일으키기 전까지, 이 분야에서는 거의 100년 동안 수치 예측이 주류 기술이었습니다. 이는 물리학과 기상 이론의 원리에 기초하고 있으며, 대기 운동을 설명하는 유체 역학과 열역학 방정식을 풀어 대기 상태의 변화 추세를 예측합니다. 머신 러닝과 같은 기술이 등장한 이후, 업계에서는 많은 논의가 있었습니다. AI가 수치 예측을 완전히 대체할 것인가?

이제는 두 가지를 결합하는 것이 가장 좋은 해결책이 될 것 같습니다. NeuralGCM을 예로 들면, 대규모 물리적 과정을 시뮬레이션하기 위해 기존 컴퓨팅에 의존하는 반면, AI 기술은 소규모 현상(예: 구름 형성 및 지역 미기후)을 처리하고 소규모에서 누적된 오류를 수정할 수도 있습니다.

이를 바탕으로 NeuralGCM은 성능 면에서 획기적인 발전을 이루었습니다. 1~15일 날씨 예보부터 10년 기후 예보까지, 이 모델의 정확도는 다양한 시간 척도에서 같은 종류의 최고 모델과 비교할 만합니다.

구체적으로, 0.7° 해상도의 결정론적 모델 NeuralCGM-0.7°은 날씨 예보 정확도 측면에서 순수 머신 러닝 모델보다 우수한 성능을 보입니다. 1~15일 예보에서는 유럽 중기 기상 예보 센터(ECMWF)와 동등한 성능을 보입니다. 동시에 장기 기후 예측 측면에서 NeuralGCM의 40년 기후 예측 시뮬레이션 결과는 ECMWF 자료가 보여주는 지구 온난화 추세와 일치합니다.

DeepMind의 기상 예측 분야의 새로운 성과

12월 4일, DeepMind는 Nature에 "머신 러닝을 활용한 확률적 날씨 예측"이라는 제목의 연구 논문을 발표했습니다.새로운 머신러닝 날씨 예측 방법인 GenCast가 제안되었습니다.레미 램은 해당 저자 중 한 명입니다. 이 방법은 날씨 예보 분야에서 구글의 또 다른 난제를 해결해 주어 기술적인 측면에서부터 예측 정확도까지 더욱 완벽해졌습니다.
서류 주소:
https://www.nature.com/articles/s41586-024-08252-9

기술적인 경로 측면에서,둘 다 머신 러닝 방법이기는 하지만, GenCast는 그래프 신경망을 기반으로 한다는 점에서 GraphCast와 다릅니다. 대신 확산 모델을 기반으로 구현되며, 변환기를 사용하여 잡음 제거 프로세스를 완료합니다. 동시에 예측 정확도 측면에서 GenCast는 NeuralGCM에 비해 공간 해상도가 크게 향상되었으며, 소규모 기상 현상을 더욱 명확하게 설명할 수 있습니다.

구체적으로 GenCast는 수십 년간의 재분석 데이터를 바탕으로 학습됩니다.무작위로 수집된 데이터를 바탕으로 15일간의 전 세계 날씨 예보를 8분 안에 생성할 수 있습니다.출력은 0.25°(위도-경도)의 공간 분해능으로 12시간마다 생성되며 80개 이상의 지표 및 대기 변수를 포함합니다. 연구진은 1,320개의 예보 목표를 평가한 결과, GenCast가 97.2%의 목표에서 ENS(앙상블 수치 기상 예측 시스템)보다 성능이 더 우수했으며, 특히 극한 기상, 열대성 저기압 경로 예측 및 풍력 발전 예측 분야에서 성능이 더 뛰어난 것으로 나타났습니다.

요약하자면, DeepMind와 Google Research는 날씨 예보라는 주제를 탐구하기 위해 협력하여 기술적 경로(결정론적 중기 및 단기 날씨 예보와 장기 기후 예보 포함)를 탐구하면서 보다 포괄적인 범위를 달성했습니다. 뛰어난 성능을 보이는 순수 머신 러닝 방법과 수치 예측과 AI를 통합한 "육각형 전사"입니다.

수백 개의 사상 학교가 경쟁하며 고통스러운 점을 기반으로 날씨 예보 모델을 구축합니다.

물론, 구글이 날씨 예보 분야를 장악하고 있는 유일한 회사는 아닙니다. 화웨이, 마이크로소프트, 엔비디아 등도 관련 결과를 발표했습니다. Google만큼 "광범위"하지는 않지만, 모두 고유한 강점을 가지고 있습니다.

예를 들어, 화웨이의 판구(Pangu) 날씨 예보 모델은 기존 수치 예측 모델보다 예측 정확도가 뛰어난 최초의 AI 방식으로, 예측 속도를 10,000배 이상 높일 수 있습니다. AI 날씨 예보의 정확도가 낮은 문제를 해결하는 것이 목표입니다.3D 지구 특정 변환기가 제안되었습니다.예측 반복 횟수를 줄이고 반복 오류를 줄이기 위해 계층적 시간 영역 집계 전략이 사용됩니다.

Microsoft의 첫 번째 대규모 대기 기반 모델인 Aurora는0.1°의 높은 공간 분해능으로 작동할 수 있어 대기 운동의 복잡한 세부 사항을 포착할 수 있습니다.1분 이내에 10일간의 고해상도 날씨 예보를 얻을 수 있습니다.

NVIDIA는 전 세계 과학자들이 공유하고 사용할 수 있도록 모든 기후 과학자의 결과를 통합하는 풀스택 오픈 기후 디지털 트윈 클라우드 플랫폼인 EARTH-2를 개척했습니다.

학계에는 셀 수 없이 많은 업적이 있습니다.예보 해상도를 0.09°까지 개선한 최초의 AI 기상 모델인 FengWu-GHR"복시"는 계절 외 기후 예측 등에 활용 가능합니다.

현재 날씨 예보 연구가 활발히 진행되고 있으며, 수많은 학파가 서로 경쟁하고 있으며, 여러 기술적 경로가 병행하여 진행되고 있다는 것은 의심의 여지가 없습니다. 이를 통해 공간적 해상도를 높이는 동시에 중기 및 단기 결정론적 예보와 기후 예보를 최대한 포괄적으로 충족시킬 수 있습니다. 앞으로 AI 기술이 지속적으로 발전함에 따라, 세계를 지배할 주류 기술이 등장할지는 아직 알 수 없습니다. 하지만 단기적으로는 AI와 전통적인 수치 예측을 결합하는 것이 여전히 더 나은 솔루션입니다. 이러한 기초 위에서 공간적 해상도를 어떻게 돌파할 것인지는 아직 탐구되어야 합니다.

참고문헌:
1.https://www.nature.com/articles/d41586-024-03898-x
2.https://mp.weixin.qq.com/s/boOoF782fm1s65hCQ-smpg
3.https://mp.weixin.qq.com/s/0krO