대체가 아닌, 공생입니다! 기상과학의 미래에는 AI와 수치예보의 유기적 결합이 필요합니다.
업계 관계자들은 2022년이 AI가 날씨 예보에 힘을 실어주는 첫 해라고 생각합니다.
올해부터 기상학 분야에서 AI를 적용하는 사례가 폭발적으로 증가했습니다. NVIDIA DLWP, Google MetNet-2와 같은 혁신적인 방법과 모델이 비가 온 뒤 버섯처럼 솟아났습니다. "최초", "최초", "획기적인" 성과는 국내외에서 빈번하게 나타났습니다. 특히 AI는 예측 능력을 향상시키는 데 있어 놀라운 성과를 보였습니다. 단 몇 개월 만에 수치적 예측으로는 수십 년이 걸려 달성한 목표, 심지어 그보다 더 나은 성과를 달성했습니다.
수치적 예측은 100년의 역사를 가지고 있다는 것을 알아야 합니다. 이 모델은 거의 반세기 동안 대기 과학의 급속한 발전을 촉진했으며 현대 기상 예측의 주류 모델입니다. 어떤 시나리오에서는 수치적 예측의 정확도가 AI보다 앞서 있기 때문에 업계 사람들은 다음과 같은 생각과 의문을 품게 되었습니다.1세기 동안 검증된 이러한 고전적인 방법이 AI에 따라잡히거나, 앞지르거나, 심지어 AI에 의해 완전히 대체될까요?
중국 기상청 상하이 태풍연구소 부소장 황웨이는 “예측 가능한 미래에AI 기상 예측과 전통적인 수치 예측을 유기적으로 결합하는 것이 예보 기술에서 획기적인 발전을 이루는 가장 효과적인 방법입니다."
실제로 수치적 예측과 AI 사이에는 자연스러운 결합 관계가 있습니다. 수치 예측은 물리적, 수학적 이론을 통해 설명 가능한 예측 결과를 제공할 수 있으며, AI는 지식과 경험을 활용하여 예측 계산의 속도와 정확도를 향상시킬 수 있습니다. 두 가지의 상호 보완성은 미래의 기상 예보 발전을 위한 핵심적인 방향이 될 수 있습니다.
우리는 과거와 현재 수치 예측과 대표적인 첨단 인공지능 방법을 정리하고 분석함으로써 수치 예측과 세부 사항에서 표면까지 그 사이의 복잡한 관계와 잠재적 가능성을 독자들이 이해하도록 돕고자 노력합니다.
이론에서 실제까지, 수치 예측에 대한 1세기의 탐구
사실, 수치 예측이 등장하기 전에는당시에는 날씨 지도를 기반으로 한 추정 예측이 날씨 예보의 주된 수단이었습니다.
기본 지도에 도시, 관측소, 주요 강, 호수, 산 등의 지리적 랜드마크의 위치를 기입하고, 이 지도에 전 세계의 기상 요소를 동시에 그려서 날씨 지도를 구성합니다. 날씨 지도를 분석하고, 기상의 진화가 짧은 기간 동안 연속적이라는 원리에 근거하여, 우리는 현재 날씨 추세를 일정 기간 동안 확장하여 예측 결과를 얻을 수 있습니다.
기상도를 기반으로 한 추정 예측은 대기의 움직임과 변화 패턴을 반영할 수 없으며, 예측 수준도 크게 제한됩니다.더욱 정확한 날씨 예보를 얻기 위해 기상학자들은 날씨 진화의 물리적 법칙을 연구하는 데 수학적 물리학적 방법을 도입하려고 노력합니다.정량적 기술에 기초한 예측 기술이 개발되었고, 이는 나중에 수치적 날씨 예측으로 바뀌었습니다.
전자 컴퓨터의 도움으로 수치 예측이 크게 증가했습니다.
대기의 이동 궤적은 유체역학의 기본 이론을 따릅니다. 노르웨이의 기상학자 피에크네스는 "대기의 미래 상태는 원칙적으로 대기의 초기 상태, 대기 운동 방정식, 질량 보존 방정식, 상태 방정식, 열역학 방정식 등에 의해 결정된다"고 믿었습니다. 따라서 사람들은 이러한 영향 요인을 하나의 방정식으로 통합하여 대기 운동 상태를 반영하고, 기상 관측망에서 제공하는 대기의 실시간 기상 요소를 방정식 집합의 입력으로 사용하여 시간에 따른 방정식의 변수 값을 풀어서 미래 대기 상태를 얻으려고 노력합니다.이것이 수치적 날씨 예측의 기본 아이디어입니다.
1916년부터 1919년까지 영국의 리처드슨 박사는 수치 예측에 대한 최초의 실용적인 계산을 수행했지만, 실험은 완전히 실패로 끝났습니다. 그는 나중에 이렇게 결론지었습니다.이런 종류의 예측에는 많은 계산이 필요합니다.수동 계산기를 사용하더라도 날씨가 오기 전에 예측하는 것은 어렵습니다. "비록 이 시도의 결과가 좋지는 않았지만, 그는 외부 세계에 수치 기상 예보에서 직면하는 기본적인 계산 과정, 단계, 문제점을 보여주었고, 이는 미래 세대에게 좋은 학습 경험을 제공했습니다.
1946년 세계 최초의 전자 컴퓨터인 에니악(ENIAC)이 출시되었는데, 당시의 컴퓨팅 속도는 초당 최대 5,000개의 덧셈 연산을 처리할 수 있었습니다. 그 이후로, "컴퓨터의 아버지"로 알려진 폰 노이만은 항상 전 세계의 뛰어난 기상학자들과 함께했습니다. 그들의 목표는새로 발명된 전자 컴퓨터를 사용하여 정확한 숫자적 날씨 예보를 실시합니다.
1950년에 미국의 과학자 차니, 파이어푸스, 폰 노이만은 이전의 경험을 바탕으로 ENIAC에서 처음으로 500hPa 기상 조건에 대한 24시간 예보를 계산하는 데 성공했습니다.이것이 최초의 성공적인 수치적 날씨 예보였습니다.이는 또한 랜드마크적 상징이기도 합니다. 그 이후로 수치 기상 예측 연구는 활발한 발전 단계에 접어들었으며, 국내외의 수많은 과학자와 연구기관이 이 분야의 발전을 위해 헌신해 왔습니다.
중국 기상청: 독자적인 연구 개발을 고수하고 4차원 변이 자료 동화 기술을 습득
1975년에,유럽 중기 기상 예보 센터(ECMWF)가 설립되었습니다.창립 4년차에 중기 수치예보 상품을 출시하며 점차 세계 수치예보 분야에서 선도적인 지위를 확립했습니다. 오늘날 ECMWF는 세계에서 가장 진보된 수치 기상 예측 시스템을 보유하고 있습니다. 이 기관은 34개 회원국의 국가 기상 및 수문 기관과 협력 회원국과 협력하여 새로운 서비스 상품을 설계하고 예보 품질을 평가 및 진단합니다. 회원국의 기상청은 센터에서 매일 실시간으로 제공하는 수치적 날씨 예보 제품과 서비스를 제공받는 특권을 누리는 것으로 알려져 있습니다. 이러한 서비스는 상업 채널을 통해 30개국 이상의 고객에게도 제공됩니다.
하지만 중국은 ECMWF의 회원국이 아니다.
개발 초기 단계에서 우리나라의 수치예보모델은 선택에 직면했습니다. ECMWF의 가장 진보된 수치예보를 도입할 것인가, 아니면 국내 수치예보를 독자적으로 개발할 것인가? 직접 도입하면 시간과 노력을 절약할 수 있지만 ECMWF의 핵심 예측 기술인 4차원 변분 자료 동화 기술은 다른 국가에 공개된 적이 없습니다. “유럽과 미국 국가들에 의해 억압받지 않기 위해,중국은 핵심 기술을 습득해야 합니다.중국 기상청 지구시스템 수치예보센터 글로벌 수치예보시스템 엔지니어링 기술팀 소속인 쑨젠(Sun Jian)은 이렇게 말했습니다.
* 3차원 변분자료 동화: 기온, 습도, 기압, 풍속 등 여러 시점의 대기 상태 자료를 동시에 가정하고 수치예측 모델을 통해 계산하여 미래의 특정 시점의 기상 상황을 얻는 방식입니다.
* 4차원 변분자료 동화: 3차원 변분자료 동화를 기반으로 시간 차원 정보를 추가하여 여러 시점의 대기 상태 자료를 연결하고, 자료 간의 변화 관계를 파악한 후, 모델 계산을 통해 미래 날씨를 예측합니다.
국가기후센터는 1995년에 설립되었습니다. 10년간의 연구 개발을 거쳐 2005년 국가기후센터는 NCC 기후예측모델 시스템을 성공적으로 가동했습니다. 우리나라의 첫 세대 단기기후예측 동적기후모델 사업 시스템으로 신속하게 가동되어 국가의 재난예방 및 완화, 기상지원 서비스에서 헤아릴 수 없는 역할을 수행했습니다.
끊임없는 자체 혁신과 돌파구를 통해 우리나라의 2세대, 3세대 단기 기후 모델 예측 사업 시스템이 잇따라 출시되어 현대 기후 사업 시스템의 필수불가결한 부분이 되었습니다. 중국 기상청은 기상 예보 기술 발전을 더욱 촉진하기 위해 수치 예보 혁신 기지와 수치 예보 센터를 설립하고, 4차원 변이 동화, 모델 동적 프레임워크, 위성 데이터 동화 기술 등에서 중대한 돌파구를 마련했습니다.
2021년에 우리나라의 수치예보 시스템은 다시 한번 국가과학기술진보상을 수상하여, 산업 발전의 또 다른 이정표가 되었습니다. 2024년 1월, 중국 기상청은 자체 개발한 글로벌 동화 예보 시스템(CMA-GFS) V4.0이 공식적으로 가동되었다고 보고했습니다. 이번 업그레이드 이후 북반구에서 이용 가능한 예보일 수는 8일을 넘어섰고, 글로벌 예보 공간 해상도는 25km에서 12.5km로 높아졌습니다. 중국의 동화기술은 국제적으로 선도적인 성과를 달성했습니다.우리나라는 독자적으로 글로벌 4차원 변이 동화 시스템을 개발한 세계에서 몇 안 되는 나라 중 하나가 되었습니다.
지난 수십 년 동안 수치적 예측이 상당한 진전을 이루었지만, 오늘날의 슈퍼컴퓨터조차도 위성 원격 감지, 레이더 관측, 항공기 관측, 선박 관측, 해상 부표 등 엄청난 양의 관측 데이터를 처리하면서 3일간의 날씨 예보를 완료하려면 여전히 수 시간의 시뮬레이션이 필요합니다.컴퓨팅 리소스는 엄청난 양의 정보를 처리하는 데 큰 어려움을 겪습니다.
기술의 물결은 결코 멈추지 않습니다. AI의 등장으로 "빅데이터를 처리하도록 설계된" 이 기술은 더 빠른 컴퓨팅 속도, 더 높은 예측 정확도, 더 낮은 날씨 예보 비용을 가져올 수 있기 때문에 폭넓은 주목을 받고 있습니다.
AI 기상예보, 3대 문제 해결해 정확도·속도 2배 향상
머신 러닝을 기반으로 한 날씨 예보는 과거 기상 데이터(관측 및 분석 데이터 포함)를 기반으로 예측 모델을 훈련할 수 있습니다. 이 모델은 명확한 방정식으로 쉽게 표현할 수 없는 데이터 집합의 요소를 식별하고 학습하여 예측 정확도를 향상시킬 수 있습니다.
그러나 머신 러닝 모델이 더 정확한 예측을 내리기 위해서는 여전히 많은 과제가 있습니다.세 가지 주요 문제가 있습니다. 반복적 오류 누적, 희소한 고해상도 데이터, 극단적인 날씨 예보의 평활화입니다.최근 몇 년 동안 학계와 산업계 모두 이 세 가지 주요 과제를 해결하기 위한 노력을 시작하면서 AI 기상 예보의 정확도와 속도를 두 배로 개선하고자 노력해 왔습니다.
Pangu-Weather는 반복적 오류 누적 문제를 해결합니다.
반복적 오류 누적을 해결하는 측면에서 2023년 7월에는Huawei Cloud 연구진은 글로벌 AI 날씨 예보 모델인 Pangu-Weather를 출시했습니다.이 모델은 기존 수치 예측 모델보다 예측 정확도가 뛰어난 최초의 AI 방법입니다. 예측 속도는 10,000배 이상 증가할 수 있습니다. 이 모델은 0.25°×0.25°의 수평 공간 분해능과 1시간의 시간 분해능을 갖고 있으며, 13개의 수직 레이어를 포괄합니다. 세밀한 기상 특성을 정확하게 예측하고 잠재 기온, 습도, 풍속, 온도, 해면 기압 등의 기상 결과를 몇 초 안에 예측할 수 있습니다.
판구웨더는 AI 날씨 예보 모델의 정확도가 부족하다는 오랜 문제를 해결합니다. 대기 현상은 본질적으로 3차원이기 때문에 2D 신경망 기반 AI 날씨 예보 모델은 불균일한 3차원 날씨 데이터를 처리할 때 특정한 한계가 있습니다. 또한, 데이터 기반 AI 방법에는 수학적, 물리적 메커니즘 제약이 없으며, 장기간의 예측 반복 과정에서 반복적 오류가 계속 누적될 것입니다.
이에 대응하여, 판구팀은 지구 좌표계에 적응하는 3D 지구 특정 변환기를 창의적으로 제안했으며, 계층적 시간 영역 집계 전략을 사용하여 예측 반복 횟수를 줄였습니다.이렇게 하면 반복 오류가 줄어듭니다.해당 연구는 "3D 신경망을 이용한 정확한 중기 글로벌 날씨 예측"이라는 제목으로 Nature에 게재되었습니다.
서류 주소:https://www.nature.com/articles/s41586-023-06185-3
판구웨더는 0.25°의 고해상도 예보를 달성했지만, 많은 기상학자들은 여전히 더 자세한 예보 결과를 얻기 위해 더 높은 해상도의 날씨 예보를 얻기를 바라고 있습니다.
FengWu-GHR은 고해상도 데이터의 부족 문제를 해결합니다.
2024년 3월 고해상도 데이터 희소성 문제를 해결하면서,상하이 인공지능연구소는 국가기상센터, 국가기상정보센터, 난징정보과학기술대학, 홍콩과학기술대학 등의 기관과 협력하여 글로벌 고해상도 AI 기상 예보 모델인 FengWu-GHR을 출시했습니다.본 모델은 예보 해상도를 0.09°(9km*9km)까지 향상시킨 최초의 AI 기상모델이며, 10km 수준의 중기 날씨를 모델링하고 예측할 수 있습니다. 기존 0.25°에 비해 범위 정확도가 7배 이상 향상되었으며, 효과적인 예보 기간은 10.75일에서 11.25일로 늘어났습니다.
해당 연구는 "FengWu-GHR: 킬로미터 규모의 중기 글로벌 기상 예보 학습"이라는 제목으로 arXiv에 게재되었습니다.
종이 주소:https://arxiv.org/abs/2402.00059
과거의 관측 기술로는 한계가 있어 고해상도 데이터는 부족합니다. 연구진은 혁신적으로 공간적 일관성 매핑과 분리된 결합 전이 학습 기술을 제안했습니다. 이는 저해상도 재분석 데이터에 대한 사전 학습된 모델의 사전 지식을 학습하고 이를 소량의 고해상도 실시간 운영 분석 데이터와 결합하여 지역 대기 활동의 2차 모델링을 증가시킵니다.고해상도 데이터의 부족 문제를 해결하세요.
"판구웨더는 이전에는 오류 누적 문제를 해결하기 위해 각 예측 시점마다 별도의 학습 모델을 사용했습니다. 이 방법은 효과적이지만 학습 비용이 매우 높습니다. 저희는 예측 과정의 각 단계에 LoRA 모듈을 추가하고 적은 수의 매개변수로 각 단계를 학습시켰습니다. 이는 예측 과정의 각 단계마다 새로운 모델을 사용하는 것과 동일하지만, 필요한 매개변수 수가 적어 계산 비용이 크게 절감됩니다." 상하이 인공지능 연구소의 젊은 연구원인 수 루이는 이렇게 말했습니다.
"게다가 극한 기상 현상에 대한 데이터도 매우 부족합니다. 데이터 기반 AI 모델은 극한 기상을 예측할 때 결과를 매끄럽게 만드는 경향이 있습니다. 극한 기상 예측의 정확도를 어떻게 향상시킬 것인가 또한 앞으로 해결해야 할 어려운 문제입니다."
오로라 극한 날씨 예측을 5,000배 더 빠르게
2024년 5월 극한 기상 예보를 평활화하는 문제를 해결하면서,마이크로소프트는 최초의 대규모 대기 기반 모델인 오로라를 출시했습니다.이 모델은 100만 시간 이상의 다양한 날씨 및 기후 시뮬레이션을 통해 훈련되었습니다. 0.1°(적도에서 약 11km)의 높은 공간 분해능으로 실행함으로써 대기 운동의 복잡한 세부 사항을 포착하고 1분 이내에 10일 분의 정확한 고해상도 날씨 예보를 제공할 수 있습니다. 컴퓨팅 속도는 가장 진보된 수치 예측 시스템인 IFS보다 5,000배 빠릅니다.
더욱 놀라운 점은 이 모델이 샤란 폭풍과 같은 심각한 기상 현상의 급격한 악화 등 극한 기상 현상을 예측하는 능력을 향상시킬 수 있다는 것입니다. 해당 연구는 "오로라: 대기의 기초 모델"이라는 제목으로 arXiv에 게재되었습니다.
서류 주소:시간ttps://http://arxiv.org/abs/2405.13063
Aurora는 이기종 골드 스탠다드 입력을 처리하고 다양한 해상도와 충실도로 예측을 생성하도록 설계되었습니다. 이 모델은 다양한 공간 및 압력 수준에서 대기 변수를 처리하고 예측할 수 있는 유연한 3D Swin Transformer와 Perceiver 기반 인코더 및 디코더로 구성됩니다.
대규모의 다양한 데이터세트를 사전 학습한 다음 특정 작업에 맞게 미세 조정을 수행하면 Aurora는 대기의 복잡한 패턴과 구조를 포착할 수 있습니다.극한의 날씨와 같이 제한된 훈련 데이터를 사용하여 특정 작업에 맞춰 미세 조정한 경우에도 여전히 뛰어난 예측 기능을 제공합니다.
위에서 언급한 세 가지 성과 외에도 NVIDIA의 FourCastNet, Google DeepMind의 GraphCast, Alibaba의 SwinVRNN, Tsinghua University와 중국 기상청이 발표한 NowcastNet, Fudan University의 Fuxi 등 많은 AI 기상 모델이 등장하면서 AI 기상 예측의 경계가 끊임없이 확장되고 있습니다.
기상 사업 분야에서 인공지능 적용을 더욱 가속화하기 위해 2024년 5월 중국 기상청은 "인공지능 기상 대형 모델 훈련 특별 데이터 카탈로그"를 발표했는데, 여기에는 중국 기상청의 전 세계 대기 재분석 제품 버전 1.5, 중국 기상청의 전 세계 동화 및 예측 시스템(CMA-GFS) 전 세계 날씨 모델 제품 버전 4.0, 중국 기상청의 전 세계 해양 기상 실시간 분석 제품, 전 세계 열대성 저기압 데이터 세트, 전 세계 지상 편집 데이터 세트, 전 세계 고층 대기 편집 데이터 세트 등 6개의 빅데이터 리소스/제품이 공개되었습니다. 이러한 움직임은 사회 각 부문이 데이터 리소스에 편리하게 접근할 수 있도록 하여 특히 기상 분야에서 인공지능 기술 적용에 대한 연구 개발과 혁신을 지원하고 가속화하는 것을 목표로 합니다.
AI 기상예보는 기술적으로나 정책적으로 급속한 발전을 이루는 전성기를 맞이하고 있으며, "정부, 산업계, 학계, 연구계" 모두로부터 높은 관심을 받고 있습니다.
AI를 기존 수치 예측과 결합하면 더욱 발전할 수 있습니다.
인공지능은 현재 모든 분야의 기술 리더이자 가장 사랑받는 기술로, 대기 과학 분야를 뒤집을 수 있는 새로운 힘으로 여겨진다.하지만 AI의 설명 가능성과 신뢰성은 아직 부족합니다."블랙박스" AI 모델은 엄청난 양의 데이터로부터 직접 정보를 얻으며 물리 법칙을 따를 필요가 없으므로 기상학자가 AI 예측의 원동력을 이해하기 어렵습니다.
전통적인 수치 예측 방법에 초점을 맞추고 기상 역학 이론을 기반으로 하며, 수학적으로 표현되고 편미분 방정식과 통합되고 유체 역학 프로그래밍 기술로 구현됩니다. 이는 매우 신뢰성 있고 설명 가능한 예측 결과를 제공할 수 있으며, 이는 AI 방법에 매우 필요한 보완 요소입니다.
실제로 우리나라 기상학자들은 AI와 전통적인 수치예보를 융합하는 최첨단 연구에 적극적으로 참여하고 있습니다. 2024년 5월, 중국 기상과학원 국가중점악기상실험실의 쉬훙슝 연구원 팀은 획기적인 연구 결과를 발표했습니다. 그들은 Pangu-weather 날씨 AI 예측 모델과 지역 수치 예측 모델 WRF-ARW를 성공적으로 결합했습니다. 이는 지역 수치 예측에 AI 날씨 모델을 적용한 첫 번째 사례입니다. 극한 기상 현상의 주요 물리적 과정을 포착할 뿐만 아니라, 400mm 강수량의 효과적인 예측 기간을 8.5일로 연장하여 예보 기술을 크게 개선합니다.
"판구-웨더 AI 기반 지역 WRF 모델을 이용한 중국 북부의 재난성 극한 강수량 예보 개선"이라는 제목의 연구는 Environmental Research Letters에 게재되었습니다.
논문 링크:
https://iopscience.iop.org/article/10.1088/1748-9326/ad41f0
기상 예측이 더욱 발전함에 따라 AI와 전통적인 수치 예측을 결합하는 것이 대부분 전문가의 의견의 일치를 보이고 있습니다. AI가 날씨, 날씨, 온도, 습도를 이해하는 데 있어 완전히 새로운 리더가 되기는 어려울 수 있습니다. 수백 년 동안 검증되어 온 고전적인 수치 예측 방법도 시대에 맞춰 발전해야 하며, 극심한 기상 현상이 빈번하게 발생하고 현대 사회에서 정확한 예측이 어려운 상황에서 지속적으로 반복되어야 합니다. 오래된 방법과 새로운 방법이 서로 보완될 때에만 우리는 알려지지 않은 문제에 직면했을 때 더욱 안정적이고 효율적인 복합 방법을 육성하고 도출해낼 수 있을 것으로 기대할 수 있습니다. 이것이 미래의 날씨를 예측하는 가장 좋은 방법일 수도 있습니다.
HyperAI는 AI4S의 최첨단 성과를 지속적으로 추적합니다.오픈소스 프로젝트인 "awesome-ai4s"는 100개가 넘는 AI4S 논문 해석을 모아놓았습니다.AI+기상학 특별주제는 다음과 같이 요약됩니다.
https://github.com/hyperai/awesome-ai4s
참고문헌:
https://iap.cas.cn/gb/kxcb/kpwz/202004/t20200417_5551357.html
https://www.metax-tech.com/en/ndetail/12503.html
http://paper.people.com.cn/rmzk/html/2024-04/29/content_26056178.htm
https://www.eurekalert.org/news-releases/1007746