Microsoft 팀, 날씨 예보 정확도 크게 높여 데이터 경쟁에서 승리

Super Neuro에서

시나리오 설명:Microsoft 연구팀은 머신 러닝 기술을 사용하여 계절별 기후 예보에서 기온과 강수량 예보의 정확도를 크게 향상시켰습니다. 날씨 예보에 의존하는 장소에 편의성을 제공합니다.

키워드:머신러닝, 날씨 예측, 지구를 위한 AI

당신은 날씨 예보에 속았나 봅니다. 하지만 날씨 예보가 아무리 신뢰할 수 없더라도 사람들은 여전히 날씨를 즐깁니다. 왜냐하면 날씨는 우리와 밀접한 관련이 있기 때문입니다. 예를 들어, 농업 계획에서는 다가올 기후 상황에 완벽하게 대비하기 위해 최대한 정확한 예측을 하는 것이 필요합니다.

Microsoft Research Cambridge의 머신러닝 연구원인 레스터 맥키는 현재로서는 다음 2~6주 동안은 "그저 행운에 달려 있다"는 것이 일반적인 예측이라고 말했습니다. 이러한 상황을 해결하기 위해 그는 AI 분야의 전문 지식을 날씨 예보에 적용하여 정확한 예측 가능성을 높였습니다.

맥키와 그의 팀은 머신 러닝 기술을 사용하여 최첨단 기술을 개발했습니다.미국 국토개발국이 주최한 계절 외 날씨 예보 경연대회에서, 해당 팀의 모델은 이전 표준 모델보다 훨씬 더 정확한 것으로 나타났습니다.이 대회의 목적은 수문학적 조건의 변화에 대응하고 가뭄이나 홍수를 미리 예방하는 등 수자원 관리 문제를 해결하는 것입니다.

맥키 팀의 연구 프로젝트는 또한 Microsoft의 AI for Earth 프로그램의 지원을 받아 기술을 사용하여 사회에 더 큰 기여를 하도록 장려되었습니다.

머신 러닝과 날씨 예측이 충돌할 때

맥키는 미래의 협력자가 될 대기 및 환경 연구소의 기후학자 주다 코헨을 만나기 전까지는 날씨와 기후 예측에 대해 별로 알지 못했습니다.

코헨은 이전에 기후 위험 컨설팅 분야에서 일했으며, 날씨 예보 연구에 열정을 쏟았습니다. 하지만 기존 방법의 단점으로 인해 발전 속도가 느려지자 그는 머신 러닝을 통해 개선을 시도했습니다.

코헨은 맥키가 기계 학습 기술에 능숙하다는 사실을 알고 그에게 연락했습니다. 기계 학습 기술을 이용하면 과거 날씨와 기후 데이터에서 효과적인 정보를 수집하여 예측 방법을 개선할 수 있습니다.

코헨의 격려에 힘입어 맥키는 점차 이 분야에서 머신 러닝의 적용 가능성과 장점을 깨닫게 되었습니다. 이후 그들은 각자의 전문 분야를 결합하여 심도 있는 협업을 시작했습니다.

한동안 과거 데이터를 이용해 날씨를 분석하고 예측하는 것이 일반적이었지만, 1980년대에 이르러서는 이 방법은 더 이상 쓰이지 않게 되었습니다. 그 이후로 대기와 해양의 진화에 대한 물리적 모델 시뮬레이션이 업계를 지배하게 되었습니다. 컴퓨팅 능력이 기하급수적으로 발전함에 따라 이러한 모델은 점점 더 정교해지고 인기를 얻고 있습니다.

맥키는 "오늘날 주요 기후 센터에서는 대형 슈퍼컴퓨터를 사용해 대기와 해양의 움직임을 시뮬레이션하고 있습니다."라고 말했습니다. 기술이 발전하면서 예측도 개선되었지만, 사람들은 과거 데이터에 대한 관심을 덜 기울였습니다. 현재 일반적인 접근 방식은 현재 기상 상황을 바탕으로 미분 방정식을 외삽하여 예측하는 것입니다.

하지만 맥키와 코헨은 다른 계획을 가지고 있었습니다. 그들은 방대한 양의 과거 데이터 정보를 하위 계절별 예측에 통합하고자 합니다.

Microsoft의 AI for Earth 부문 최고 환경 책임자인 루카스 조파는 다음과 같이 말했습니다."맥키는 어려운 문제를 다루고 있는데, 그가 탐구하는 기술은 우연히도 날씨 예보에 큰 유용성을 가지고 있으며, 더 넓은 사회·경제적 영역에도 적용 가능성이 크다는 장점이 있습니다."

이 대회는 시장 상황을 파악하기 위한 목적으로 진행되었지만, 그 결과는…

맥키와 코헨의 연구 협업이 진행되면서 코헨은 미국 국토개발국이 후원하는 대회에 대한 통지를 받았습니다. 이 대회는 미국 서부의 기온과 강수량 등 날씨 예보의 정확도를 높이기 위한 것이었습니다.

맥키는 현재 모델이 단기 및 장기 예보에 대해 비교적 성숙한 방법을 갖추고 있다고 말했습니다. 7일 이내의 날씨 모델에 대한 성능은 이미 상당히 좋습니다. 1년에서 10년 이상과 같은 매우 장기적인 예측의 경우에도 기후 예측 모델이 잘 개발되었습니다.

그러나 계절 외 예보는 일일 기온과 바람과 같은 단기 날씨에 영향을 미치는 변수와 엘니뇨와 북극 해빙과 같은 계절적 요인의 조합에 의존하는 중간 단계입니다.이 때문에 예측하기 어렵습니다.

13개월간의 경쟁 기간 동안, 그들은 앞으로 3~4주, 혹은 5~6주간의 날씨를 끊임없이 예보해야 합니다. 경연대회에는 강수량과 기온에 대한 예보가 포함되었습니다.

더 나은 예측을 위해 그들은 두 가지 다른 머신 러닝 방법을 사용했습니다. 하나는 과거 데이터의 기온 및 강수량 기록과 해빙 농도 및 엘니뇨 현상(MultiLLR에 해당)과 같은 물리적 예측 모델 모음을 포함한 다양한 데이터를 적용하는 것입니다. 다른 방법은 처리할 프로젝트의 단일 과거 데이터만 사용하는 것입니다(AutoKNN에 해당).

"우리는 2주마다 예보를 실시하는데, 그 사이에는 주로 새로운 데이터 수집, 데이터 처리, 새로운 방법을 테스트하기 위한 인프라 구축, 그리고 새로운 방법을 개발하고 평가하는 작업을 합니다."라고 Mackey는 설명합니다. "그러면 우리는 멈추고, 예측을 하고, 다음 2주 동안 반복합니다."

경기 후반에 Mackey의 팀은 두 가지 접근 방식을 결합해 시도했고 가장 좋은 예측을 달성했습니다. 대회 결과도 미국 시간으로 3월 7일에 발표되었습니다.

맥키와 코헨의 팀은 인상적인 결과를 달성하여, 3~4주 후의 기온을 예측하는 부문에서 1위를 차지했고, 5~6주 후의 총 강수량을 예측하는 부문에서 2위를 차지했습니다.

날씨는 예측되지만, 미래는 어떨까?

해당 팀은 관련 기술적 세부 사항과 연구 결과를 arXiv.org에 논문으로 발표했습니다. 더 많은 사람들이 이 챌린지에 참여하도록 장려하기 위해, 그들은 만들어진 데이터 세트를 공개했습니다.

논문 주소: https://arxiv.org/pdf/1809.07394.pdf

데이터세트 주소: https://dataverse.harvard.edu/dataset.xhtml?persistentId=doi:10.7910/DVN/IHBANG

Microsoft의 AI for Earth 프로그램은 Mackey와 그의 동료들에게 자금을 제공하여 더 많은 사람들이 머신 러닝 기반 예측 기술을 확장하고 개선하도록 장려하고 있습니다.

또한, 마이크로소프트의 AI for Earth는 맥키와 그의 팀에 더 많은 자금을 지원해 팀을 확장하고 연구를 개선할 계획입니다.

미국 국유림국의 수자원 연구원인 케네스 노박은 다음과 같이 말했습니다."이 방법이 더욱 개선되어 더 광범위한 분야에 적용되기를 바랍니다."그는 덧붙였다,정부 기관은 기상 예보에 "머신 러닝을 활용할 수 있는 더 많은 기회를 모색"할 예정이다.

초헨과 맥키는 계절 외 기후 예측에 있어 AI의 잠재적 가치에 대한 호기심에서 획기적인 연구를 수행했습니다. 초엔 역시 다음 작품에 대한 기대감이 크다."머신러닝의 장점을 알고 있습니다. 이건 끝이 아니라 시작에 가깝습니다. 앞으로 해야 할 일이 아직 많이 남아 있습니다."