구글 홍수 예측 모델, 세계 1위 시스템 제치고 네이처에 다시 게재…80개국 이상 포함

『서경·요경』에 “홍수가 거세게 몰아쳐 산과 언덕을 휩쓸고 하늘을 뒤덮으니 백성들이 의논하고 있다”고 기록되어 있습니다. 요순시대에는 홍수로 인해 사람들이 고통받았습니다. 야오와 순은 홍수를 조절할 사람을 찾기로 했습니다. 건은 처음에는 임명되었으나 실패했다. 후에 다유는 아버지의 업적을 이어받아 다시 홍수를 다스리게 되었다. 그래서 "대우가 13년 동안 홍수를 조절하고, 세 번이나 집에 들어가지 않고 지나갔다"는 전설이 생겨났습니다.
2023년 7월, 태풍 두수루이로 인해 이례적인 폭우가 베이징을 강타했고, 다칭강 유역에서는 기록적인 최대 유량이 발생했습니다. 인민일보 온라인에 따르면, 이번 홍수 재해로 베이징에서만 129만 명이 피해를 입었고, 5만 9천 채 이상의 주택이 무너졌으며, 14만 7천 채 이상의 주택이 심각하게 파손되었고, 피해 농작물 면적은 22만 5천 에이커에 달했습니다.

고대부터 현재까지 인간은 홍수와 같은 자연재해에 직면했을 때 종종 취약한 입장에 처해 왔습니다. 구글의 연구 과학자 그레이 니어링은 그의 논문에서 효과적인 홍수 예측 시스템을 사용하면 관련 사망자 수를 43%, 경제적 손실을 35%~50%까지 줄일 수 있다고 밝혔습니다. 홍수 예측 시스템을 구축하는 것은 인간이 홍수 재해에 대처하는 데 중요한 수단이라는 것을 알 수 있습니다.
현재의 전 세계 홍수 예측 시스템은 주로 강을 따라 설치된 관측소에 의존합니다. 저소득 및 중소득 국가에서는 배치 비용 때문에 설치된 유량계의 수가 적은 경우가 많아 홍수가 발생했을 때 이러한 국가가 사전에 대응책을 마련하기 어렵습니다.. 세계은행은 개발도상국의 홍수 예보 시스템을 선진국 수준으로 끌어올리면 매년 약 23,000명의 생명을 구할 수 있을 것으로 추정합니다. 모니터링 지점이 없는 유역에 대한 홍수 예측 시스템을 구축하는 것이 시급합니다.
다행히도 과학과 기술의 발달로 홍수 분야에 인공지능(AI)을 적용하면서 모니터링 스테이션이 없는 유역의 홍수 방어에 대한 희망이 생겼습니다.Google Research의 Grey Nearing과 그의 팀은 머신 러닝을 기반으로 강 예측 모델을 개발했습니다.이 모델은 5일 전의 신뢰할 만한 홍수 예측을 달성할 수 있습니다. 5년에 한 번 발생하는 홍수 사건을 예측할 경우, 현재 1년에 한 번 발생하는 홍수 사건을 예측하는 것과 동등하거나 더 나은 성능을 보입니다. 이 시스템은 80개국 이상을 포괄할 수 있습니다.
연구 하이라이트:
* 하천예보모델은 세계 최고 수준의 홍수예보시스템인 GloFAS보다 예측능력이 더 뛰어납니다.

* 측정되지 않은 유역의 홍수 경고에 대한 더 나은 지원 제공

서류 주소:
https://www.nature.com/articles/s41586-024-07145-1
데이터세트 다운로드 주소:
https://hyper.ai/datasets/30647
공식 계정을 팔로우하고 "홍수 예보 시스템"에 답글을 남겨 전체 PDF를 받으세요.

데이터 세트: 5,680개 유역

이 연구의 전체 데이터 세트에는 5,680개 유역의 모델 입력과 (유출) 목표 값이 포함되어 있으며, 연구자들은 이를 기반으로 모델을 훈련하고 테스트했습니다.

본 연구에서는 주로 정부 소스의 세 가지 유형의 공공 데이터를 입력으로 사용합니다.
* 지리적 및 지구물리적 변수를 나타내는 정적 유역 데이터:HydroATLAS 프로젝트에는 장기 기후 지표(강수량, 기온, 적설량), 토지 피복, 인위적 속성이 포함됩니다.
* 과거 기상 시계열 데이터:NASA IMERG, NOAA CPC 글로벌 통합 게이지 기반 일일 강수량 분석 및 ECMWF ERA5 육지 재분석에서 가져왔습니다. 변수에는 일일 총 강수량, 기온, 열 복사, 강설량, 지표면 기압 등이 있습니다.
* 7일 예보 범위 내 날씨 예보의 시계열 데이터:이 자료는 ECMWF HRES 대기 모델에서 나온 것이며, 기상 변수는 위와 동일합니다.

모델 아키텍처: LSTM 기반 강 예측 모델 구축

본 연구에서는 장단기 메모리 네트워크(LSTM)의 두 가지 응용 프로그램을 사용하여 강 예측 모델을 구축하였는데, 이 모델의 핵심은 인코더-디코더 메커니즘(인코더-디코더 모델)입니다.Hindcast LSTM은 과거 기상 데이터를 수신하고, Forecast LSTM은 예측 기상 데이터를 수신하며, 모델의 출력은 각 예측 시간 단계의 확률 분포 매개변수입니다. 이는 특정 시간의 특정 강의 유량에 대한 확률 예측을 나타냅니다.
또한 연구진은 50,000개의 미니배치로 모델을 훈련시켰으며, 모든 입력 데이터는 사전에 정규화되었습니다. 연구진은 모델의 학습 능력을 향상시키기 위해 인코더와 디코더 LSTM의 은닉 크기를 256개 셀 상태로 설정하고, 선형 셀 상태 전송 네트워크와 비선형 은닉 상태 전송 네트워크도 설정했습니다.

모델 최적화: 교차 검증으로 예측 오류 감소

연구진은 5,680개의 하천 계측기를 대상으로 하천 예보 모델을 훈련하고 표본 외부에서 테스트하기 위해 교차 검증을 사용하여 모델의 일반화 능력이 효과적으로 평가되는지 확인하고 예측의 신뢰도를 개선했습니다.
첫째, 시간 차원에서 교차 검증 폴드는 1년 내에 모니터링 스테이션의 테스트 데이터가 사용하는 훈련 데이터와 겹치지 않도록 설계되었습니다. 공간 차원에서는 k-폴드 교차 검증(k = 10)을 사용하여 공간 차원의 데이터를 균등하게 나누었습니다. 이 두 가지 교차 검증 과정은 훈련과 테스트 사이의 데이터 유출을 방지하기 위해 반복됩니다.
둘째, 연구진은 다양한 지리적 지역과 환경 조건에서 모델의 성능을 더욱 자세히 조사하기 위해 대륙(k = 6), 다양한 기후대(k = 13), 수문학적으로 분리된 유역 그룹(k = 8)에 따른 비무작위 공간 분할을 포함하되 이에 국한되지 않는 더 많은 유형의 교차 검증 실험을 수행했습니다. * k-겹 교차 검증: 데이터 세트를 k개의 하위 집합으로 나누고, 1개의 하위 집합은 검증에 사용하고 나머지 k-1개의 하위 집합은 학습에 사용합니다. 교차 검증을 k번 반복하고, 각 부분 집합을 한 번씩 검증하고, k번 결과의 평균을 내어 모델의 최종 평가값을 구합니다.

실험 결과: 세계 최첨단 홍수예보 시스템보다 성능이 우수하다

홍수 사건 예측의 신뢰성을 평가하기 위해 연구진은 강 예측 모델을 세계에서 가장 진보된 홍수 예측 시스템인 GloFAS(Global Flood Awareness System)와 비교했습니다.

* 빨간색은 -0.2와 0 사이의 차이를 나타냅니다.

* 녹색은 차이가 0-0.2임을 나타냅니다.
먼저, 연구진은 1984년부터 2021년까지 현재 예보를 기반으로 2년 재현 기간을 갖는 사건을 예측하기 위해 강 예보 모델과 GloFAS 모델 간의 F1 점수 차이 분포를 분석했습니다.
결과는 다음과 같습니다하천 예측 모델은 70% 모니터링 스테이션(총 3,673개)에서 GloFAS 모델보다 더 나은 성능을 보였습니다.

* 파란색 점선은 기준선입니다.

* N은 모니터링 스테이션의 수입니다.
두 번째로, 연구자들은 즉각적 예측 하에서 서로 다른 재현 기간을 가진 이벤트에 대한 정밀도와 재현율의 분포를 분석했습니다.
결과에 따르면, 강 예측 모델은 모든 재현 기간 사건을 예측하는 데 더 높은 신뢰도를 보입니다. 극한 현상 예측 정확도 측면에서 5년 재현 기간의 하천 예보 모델과 1년 재현 기간의 GloFAS 사이에 유의미한 차이는 없으나 재현율은 GloFAS보다 높습니다.이는 5년의 재현 주기를 갖는 홍수 사건을 예측하는 하천 예측 모델의 정확도가 1년의 재현 주기를 갖는 홍수 사건을 예측하는 GloFAS의 정확도보다 더 좋거나 동일함을 보여줍니다. 즉, 더 긴 재현 주기를 갖는 홍수 사건을 예측하는 신뢰도가 1년의 재현 주기를 갖는 홍수 사건을 예측하는 가장 진보된 모델보다 더 좋습니다.* 재현 기간: 홍수 피크가 발생하는 연도는 재현 기간입니다. 반복 주기가 길수록 홍수의 규모는 커지고, 반복 주기가 짧을수록 홍수의 규모는 작아집니다.

셋째, 연구진은 0~7일 전에 예측할 때, 서로 다른 반복 기간을 갖는 사건에 대한 F1 점수의 분포를 분석했습니다.
결과는 1년(a), 2년(b), 5년(c), 10년(d)의 재현 기간을 갖는 사건을 예측하는 경우, 하천 예측 모델의 F1 점수가 GloFAS의 현재 예측보다 높거나 최대 5일 전까지는 유의미한 차이가 없음을 보여줍니다.이는 하천예보모델의 홍수예측 능력이 5일 이내에서 GloFAS보다 우수하거나 동일함을 보여줍니다.

넷째, 연구자들은 서로 다른 지리적 위치와 재현 기간을 가진 이벤트를 예측할 때 F1 점수의 분포를 분석했습니다.
결과는 다음과 같습니다두 모델의 신뢰도는 지리적 위치에 따라 상당한 차이가 있습니다.또한, 1년(a), 2년(b), 5년(c), 10년(d)의 재현기간을 갖는 사건을 예측할 때, 다양한 지리적 위치에서의 하천예측모형의 F1점수는 GloFAS에 비해 유의미한 차이가 없거나 더 높았다.

유럽 EFAS부터 중국 신안장 모델까지 AI는 지능적 방어선이 되었습니다.

사실, 구글이 2021년 초 "Inventors@Google" 행사에서 AI 기술의 연구 결과를 시연했을 당시에도 머신러닝 기반 홍수 예측 시스템인 Google Flood Hub에 대해 언급한 적이 있습니다. 당시 이 시스템은 주로 인도에서 사용되었으며, 시각화를 통해 지역 주민들이 홍수 상황을 이해할 수 있도록 했습니다. 3년간의 개발 끝에 구글의 최신 홍수 예측 시스템은 이제 모니터링 스테이션 없이도 다른 유역으로 확장이 가능해졌으며, 80개국 이상을 포괄합니다.
이와 유사한 시스템으로는 유럽 홍수 인식 시스템(EFAS)이 있는데, 이 시스템은 첨단 기상 예보와 수문 모델을 머신 러닝 알고리즘과 결합하여 유럽 전역에 최소 10일 전에 신뢰할 수 있는 홍수 예보를 내리고 회원국의 국가 및 지역 홍수 센터에 정확한 조기 경보를 보냅니다.
또한, 홍수가 잦은 나라 중 하나로, 우리나라 국토의 약 2/3가 다양한 정도로 홍수 위험에 처해 있습니다. 통계에 따르면, 1991년부터 2020년까지 우리나라의 홍수로 인한 사망자 또는 실종자는 연평균 2,000명을 넘었고, 누적 사망자 수는 6만 명을 넘었으며, 연평균 직접 경제 손실은 약 1,604억 위안에 달했습니다.

홍수 위험에 직면하여, 우리나라는 장기간의 실용 축적과 수문학 법칙에 대한 심층 연구를 바탕으로 독자적으로 신장 모델을 개발하였으며, 전체 유역을 여러 개의 단위 분지로 구분하고 지형, 토양, 식생 등의 요소가 수문 과정에 미치는 영향을 고려했습니다. 이는 정확한 수문학적 예측 결과를 제공하며 홍수 예방 및 재해 감소에 널리 사용됩니다.
사실, 인류는 보다 효과적인 홍수 예방 조치를 모색하는 것을 멈춘 적이 없습니다. 홍수를 근본적으로 근절하는 것은 불가능하지만, 고도화된 홍수 예측 시스템을 이용하면 재해를 미리 예측하고 홍수가 인간 사회에 미치는 부정적 영향을 크게 줄일 수 있는 조치를 취할 수 있습니다. 오늘날 AI 기술을 기반으로 구축된 홍수 예측 시스템은 더 이상 특정 지역에 국한되지 않으며, 앞으로 전 세계를 포괄하여 더 많은 시민을 홍수 위험으로부터 보호할 수도 있습니다.

참고문헌:
1.http://bj.people.com.cn/n2/2023/0809/c14540-40525241.html
2.https://www.sohu.com/a/766008856_473283
3. https://www.sohu.com/a/745381603_121687414
4.https://european-flood.emergency.copernicus.eu/en/european-flood-awareness-system-efas
5.https://developer.baidu.com/article/details/3096974
6.https://blog.research.google/2024/03/using-ai-to-expand-global-access-to.html
7.https://m.jiemian.com/article/6809946.html