홍수는 전 세계적으로 가장 널리 퍼져 있고 파괴적인 자연재해 중 하나입니다. 하천 유량 예측의 정확성과 홍수 경보의 시의적절한 발령은 하천 유역의 재해 예방 및 완화 능력, 생태 안보, 그리고 사회경제적 운영의 안정성에 직접적인 영향을 미칩니다. 이러한 이유로 수문학에서는 오랫동안 "홍수를 더욱 정확하게 예측하는 방법"을 핵심 과제 중 하나로 여겨왔습니다.

지난 수십 년 동안 기계 학습은 수문 시뮬레이션 및 홍수 예측 분야에서 지속적인 발전을 거듭해 왔습니다. 초기 연구는 주로 개념적인 강우-유출 모델에 집중되었습니다.이러한 방법들은 관측 데이터가 부족하고 현장 측정소가 거의 없는 "데이터가 없는 유역"에서 중요한 역할을 해왔습니다.데이터 규모와 컴퓨팅 성능의 증가에 따라 연구의 초점은 단순히 예측 정확도를 향상시키는 것에서 모델 해석 가능성, 불확실성 정량화, 데이터 동화, 기계론적 모델과 딥러닝의 통합과 같은 더욱 복잡한 방향으로 점차 옮겨가고 있으며, 이는 "데이터 + 메커니즘"의 시너지 효과에 의해 수문 예측을 새로운 단계로 이끌고 있습니다.

이러한 배경에서 구글 리서치는 최근 비즈니스 검증을 거친 머신러닝 기반 수문 모델을 대규모로 전 세계 홍수 예측 시스템에 배포했습니다.글로벌 홍수 예측 시스템의 두 번째 버전(v2)이 공식 출시되었으며, 구글 플러드허브의 하천 예측 모듈의 핵심 엔진이 되었습니다.v2는 첫 번째 버전과 비교하여 운영 배포를 방해하는 세 가지 주요 오랜 문제, 즉 불충분한 훈련 데이터, 제한된 시계열 길이 및 입력 데이터 분포 편향을 해결하기 위한 체계적인 개선 사항을 제안합니다. 이러한 개선 사항은 전 지구적 규모의 유출량 예측의 안정성과 신뢰성을 크게 향상시킵니다.

하지만 "모델 효율성"에서 "커뮤니티 재현성 및 확장성"으로 나아가기 위해서는 알고리즘 투명성 및 데이터 개방성과 같은 문제를 해결해야 합니다. 이러한 점을 고려하여 연구팀은 v2 시스템을 공개하면서 개발 과정의 주요 구현 세부 사항과 현재 직면한 과제도 함께 공개했습니다.또한 구글은 유출량 재분석 및 재예측 데이터 세트(GRRR)를 출시했습니다.이 데이터 세트는 전 세계 100만 개 이상의 하천 관측소를 포함하며 수십 년간의 과거 시뮬레이션 및 재예측 결과를 담고 있어 후속 방법론 연구 및 모델 반복 작업을 위한 중요한 데이터 기반을 제공합니다.

관련 데이터 세트는 온라인에서 이용 가능합니다.

https://go.hyper.ai/PdolQ

"중장기 전지구 홍수 예측 확장: 구글 전지구 홍수 예측 모델 버전 2"라는 제목의 관련 연구 결과가 EGUsphere에 게재되었습니다.

연구 하이라이트:

* 글로벌 홍수 예측 시스템의 두 번째 버전을 도입하여 신뢰할 수 있는 예측의 유효 기간을 크게 향상시켰습니다.

* 전 세계 1,223개 시험 유역에서 통합 예측의 두 번째 버전은 첫 번째 버전 및 두 개의 제3자 기준 모델에 비해 우수한 정확도를 보였습니다.

* NSE를 평가 지표로 사용했을 때: 실시간 예측의 첫 번째 버전과 비교하여 두 번째 버전은 실제 관측소가 있는 유역에서는 신뢰할 수 있는 예측 기간을 6일 연장하고, 실제 관측소가 없는 유역에서는 1일 연장합니다.

논문 보기:
https://egusphere.copernicus.org/preprints/2026/egusphere-2026-2283/

데이터 세트: 정적 속성, 동적 요인 및 유출 관측 자료

하천 유량 예측 모델의 핵심 과제는 각 유역 출구에서의 일일 평균 유출량을 예측하는 것입니다.모델 입력은 주로 정적 유역 속성, 동적 기상 구동 데이터 및 목표 유출 데이터의 세 부분으로 구성됩니다.

정적 유역 속성은 유역의 장기적이고 안정적이며 시간에 따라 변하지 않는 물리적 특성을 설명하는 데 사용됩니다.본 연구에서는 총 92개의 공간 평균 속성을 사용했습니다.이 데이터는 주로 HydroATLAS에서 가져온 것이며, ERA5-Land 재분석 데이터와 결합하여 지형, 기후, 토지 피복, 토양 및 인간 활동과 같은 다양한 측면을 포괄하는 수문기후 통계를 계산하는 데 사용됩니다. 여기에는 평균 고도, 건조도, 강수량 계절성, 산림 피복, 토양 수리 특성 및 인구 밀도가 포함됩니다.

동적 기상 데이터는 수문학적 반응을 유발하는 기상 과정을 특성화하는 데 사용됩니다. 기존 연구에 따르면 여러 출처의 기상 데이터를 융합하면 LSTM과 같은 모델의 예측력을 크게 향상시킬 수 있습니다. 따라서 v2 시스템은 유럽 중기예보센터(HRES), 미국 해양대기청(NOAA)의 CPC, GraphCast, 미국 항공우주국(AMERG)을 포함한 여러 전지구 기상 자료를 동시에 통합합니다. 입력 변수는 총 강수량 및 2미터 기온과 같은 주요 기상 요소를 포함하며, 일별 데이터로 균일하게 집계됩니다. 단일 기상 자료원을 사용하는 경우와 비교하여, 이러한 다중 자료원 융합 접근 방식은 서로 다른 지역과 시간 규모에 걸쳐 발생하는 오류 문제를 더 효과적으로 완화할 수 있습니다.

유출량 데이터와 관련하여,v2 시스템은 Caravan, GRDC, BANDAS의 세 가지 데이터셋을 사용하여 학습되었습니다.v1은 GRDC에만 의존했습니다. 비교 가능성을 확보하기 위해 v1에서 사용된 GRDC 테스트 사이트는 v2 테스트 세트에도 그대로 유지되었습니다. 아래 그림에서 볼 수 있듯이 확장된 훈련 샘플은 전 세계의 다양한 기후대와 수문 환경을 포괄하여 공간적 대표성을 크게 향상시켰습니다. Caravan 자체는 CAMELS 시스템을 기반으로 구축된 대규모 오픈 소스 유역 데이터 세트로, 여러 국가 및 연구 기관의 데이터 자원을 통합합니다.

이 모델은 기업 운영을 "보고 후"와 "예측"의 두 단계로 구분합니다.보고 후 단계에서는 주로 HRES와 GraphCast의 0일 예측 데이터를 활용하며, CPC와 IMERG는 실시간 예측을 제공할 수 없기 때문에 향후 시계열 예측에서 제외됩니다. HRES와 GraphCast의 운영 아카이브는 각각 2012년과 2016년부터 시작되는 반면, ERA5-Land와 유출량 관측 자료는 1980년까지 거슬러 올라가기 때문에, 연구팀은 장기 시계열 학습의 일관성을 유지하기 위해 ERA5-Land를 사용하여 누락된 초기 기간을 보완했습니다.

아키텍처 업그레이드를 통해 예측 초기화 시 발생하는 급격한 변화 문제가 완전히 해결되었습니다.

구글의 두 번째 글로벌 홍수 예측 시스템의 핵심은 평균 내장형 장단기 메모리 네트워크(ME-LSTM)입니다.첫 번째 버전에서 사용된 인코더-디코더 LSTM(ED-LSTM)과 비교하여 ME-LSTM은 결측 입력 및 장기 시계열 예측 처리에 더 적합하며, 버전 1에서 사후 보고 단계와 예측 단계 간 전환 시 쉽게 발생했던 예측 변이 문제도 해결합니다.

버전 1에서는 사후 평가와 예측이 두 개의 독립적인 LSTM에 의해 처리됩니다. 사후 평가 네트워크에서 출력되는 은닉 상태와 셀 상태는 작은 신경망을 통해 변환되어 예측 네트워크를 초기화하는 데 사용됩니다. 이러한 설계의 목적은 사후 평가 및 예측 단계가 서로 다른 데이터 분포를 학습하도록 하여 관측 데이터, 재분석 데이터 및 일기 예보 데이터 간의 불일치를 완화하는 것입니다. 그러나 실제 운영 환경에서는…이러한 구조는 초기 예측 상태의 불안정성을 쉽게 초래하여 모델이 실제 수문학적 과정에 신속하게 대응하기보다는 내부 상태를 조정하는 데 우선순위를 두게 되고, 결과적으로 불연속적인 예측 결과를 낳을 수 있습니다.

이 문제를 해결하기 위해 ME-LSTM은 더 이상 모든 기상 입력값을 직접 결합하지 않습니다.대신, 각 기상 데이터는 독립적인 입력 소스로 취급되어 전용 내장 네트워크를 통해 공유되는 숨겨진 공간에 매핑됩니다.임베딩 전에 정적 유역 속성은 해당 동적 입력과 연결됩니다. 그런 다음 모델은 누락된 입력을 무시하면서 마스크된 평균 메커니즘을 사용하여 다양한 소스의 데이터를 자동으로 집계하여 결측 데이터 및 입력 분포 변화에 대한 견고성을 향상시킵니다.

시계열 모델링 수준에서ME-LSTM은 두 개의 LSTM 레이어를 쌓아 전체 시계열을 균일하게 처리하므로 예측과 추정 단계를 수동으로 분리할 필요가 없습니다. 따라서 모델 상태가 지속적으로 진화할 수 있습니다.이로써 v1의 상태 전환 문제가 근본적으로 해결됩니다. 첫 번째 LSTM 레이어는 전체 입력 시퀀스를 처리하고 집계된 특징을 생성하는 역할을 하며, 두 번째 LSTM 레이어는 이러한 특징을 사용하여 유출량 예측을 완료합니다.

두 모델 모두 확률적 예측을 위해 혼합 밀도 출력 계층을 사용하며, 미래 유출량의 불확실성을 특성화하기 위해 가산 혼합 비대칭 라플라스 분포(CMAL) 매개변수를 출력합니다. 본 논문에 제시된 결정론적 결과는 예측 분포의 평균에서 도출되었습니다.

v2는 학습에 Adam 옵티마이저와 CMAL 우도 손실 함수를 사용하며, 가우시안 노이즈 주입, 그래디언트 가지치기, 무작위 입력값 제거 등의 전략을 통해 모델의 견고성을 향상시켰습니다. 특히 일부 시계열 입력값을 무작위로 제거하는 설계는 실제 비즈니스 환경에서 발생하는 결측 데이터 처리 능력을 향상시킵니다. 전체 학습 과정은 125 에포크로 구성되어 복잡한 전 지구적 수문 환경에서 모델의 일반화 능력을 극대화합니다.

강화된 시간적 상관관계는 통합 예측의 두 번째 버전의 정확도를 크게 향상시킵니다.

본 연구는 주로 두 가지 시나리오에서 v2 시스템의 성능을 평가합니다.한 범주는 실제 수문 측정 관측소가 있는 유역이고, 다른 범주는 지역 측정 데이터가 없어 유역 간 일반화 기능에만 의존하여 예측해야 하는 "데이터 없는 유역"입니다. v1에서 사용된 무작위 10겹 교차 검증과 비교하여 v2에서는 평가를 위해 독립적인 테스트 세트를 추가로 사용하여 실제 비즈니스 배포 환경에 더 가까운 실험을 수행합니다.

v2는 모델 아키텍처를 업데이트했을 뿐만 아니라 학습 데이터와 기상 입력값도 확장했기 때문입니다.연구팀은 또한 AI 날씨 예보 데이터의 기여도를 별도로 분석하기 위해 GraphCast 입력을 제거한 간소화된 버전을 구축했습니다.본 실험에서는 핵심 지표로 내쉬-새트클리프 효율 계수(NSE)와 클링-굽타 효율 계수(KGE)를 사용하였다. NSE는 모델의 전반적인 적합도를 측정하고, KGE는 시간적 일관성, 수문 균형, 유량 변동 등의 측면에서 모델의 성능을 분석한다. 실험 기간은 2016년부터 2023년까지였다.

모델 초기화에 장기간의 과거 데이터가 필요하다는 점을 고려하여, 연구진은 테스트 연도 전후로 1년씩 격리 기간을 설정하고, 시간 정보 유출을 방지하기 위해 해당 기간의 데이터를 훈련 데이터셋에서 완전히 제거했습니다. 최종적으로 총 1,222개의 공유 테스트 유역을 선정하여 통합 평가를 수행했습니다. 벤치마크 모델로는 글로벌 홍수 경보 시스템(GloFAS)과 유럽 홍수 경보 시스템(EFAS)과 같은 기존 운영 모델들을 사용했습니다.

결과는 다음과 같습니다v2는 다양한 예측 기간과 두 가지 시나리오 모두에서 v1보다 전반적으로 훨씬 뛰어난 성능을 보입니다.한편, 구글의 두 세대 모델 모두 기존 비즈니스 모델보다 훨씬 뛰어난 성능을 보였습니다. 업그레이드된 모델 아키텍처와 확장된 학습 데이터는 주로 측정 데이터가 있는 유역에서 성능 향상을 가져왔으며, GraphCast의 경우 중장기 예측에서 더욱 두드러진 개선을 보여 측정 데이터 유무에 관계없이 예측 정확도를 높였습니다. KGE 분해 결과는 이러한 개선이 주로 유출량의 시간적 변동과 유량 변동을 더 잘 파악하는 능력 향상에서 비롯된다는 것을 보여줍니다.

일반적인 결과는 측정 데이터가 있는 유역에서는 v2의 6일차 예측 정확도가 v1의 실시간 예측 수준에 도달하거나 심지어 능가할 수 있는 반면, 측정 데이터가 없는 유역에서는 예측 선행 시간이 약간만 연장된다는 것입니다. 이는 또한 다음과 같은 점을 시사합니다...지역 관측 데이터는 모델 성능에 영향을 미치는 핵심 요소로 남아 있습니다.

또한 이 연구는 유역의 자연적 특성이 예측 정확도에 상당한 영향을 미친다는 사실을 발견했습니다. 일반적으로 습도가 높고 눈이 풍부하며 식생이 잘 덮인 유역은 안정적인 예측 결과를 보일 가능성이 높은 반면, 건조 지역은 급격한 유출량 변동으로 인해 오차가 더 크게 나타나는 경향이 있습니다. 그러나 측정된 데이터를 고려할 때...v2의 개선 효과는 건조한 유역에서 더욱 두드러지게 나타납니다.반면, 저수지와 인공 제어 시설이 많은 유역은 모델 업그레이드 후에도 개선 효과가 미미했는데, 이는 현재의 딥러닝 모델이 복잡한 인간 제어 과정을 제대로 파악하기에는 여전히 부족하다는 것을 보여줍니다.

마지막 말

모델 개발 및 운영 배포부터 데이터와 코드의 오픈 소스화에 이르기까지, v2 시스템은 머신러닝 기반 수문 모델링 분야에서 점점 더 분명해지는 추세를 반영합니다. 연구 목표가 더 이상 "정확도를 몇 퍼센트 향상시키는 것"에 그치지 않고, 실제적이고 복잡한 환경에서 모델의 안정성, 일반화 능력, 확장성에 더 큰 비중을 두기 시작한 것입니다. 물론 현재 시스템에는 여전히 상당한 한계가 있습니다. 건조한 유역, 인위적으로 조절된 지역, 실제 측정소가 없는 시나리오 등은 전 세계 홍수 예측에 있어 여전히 어려운 과제이며, 모델이 지역 관측 데이터에 의존하는 문제는 아직 완전히 해결되지 않았습니다.

본 연구는 적어도 한 가지 사실을 입증합니다. 고품질 학습 데이터, 전 지구적 규모의 다양한 출처의 기상 정보, 그리고 실제 운영 시나리오에 맞춰 설계된 딥러닝 아키텍처를 결합하면 머신러닝을 통해 진정한 의미의 전 지구적 홍수 예측 시스템을 구축할 수 있다는 것입니다. 이는 미래의 홍수 통제 및 재해 경감, 수자원 배분, 그리고 극한 기후 위험 관리 분야에 있어 매우 중요하고 주목할 만한 발전입니다.