홍수는 전 세계적으로 가장 흔하고 광범위하게 발생하는 자연재해 중 하나로, 사회경제적 발전과 공공 안전에 장기적인 위협을 가합니다. 기후 변화로 인해 극심한 강우 현상이 빈번해짐에 따라 많은 지역에서 홍수 위험이 크게 증가하고 있습니다. 정확하고 시의적절한 홍수 예측은 재해 예방 및 완화에 필수적인 정보를 제공할 뿐만 아니라 수자원 배분, 도시 관리, 농업 생산에 대한 중요한 의사결정을 지원합니다.

오랫동안 홍수 예측은 주로 물리적 과정 모델(PBM)에 의존해 왔습니다.수문 순환 이론에 기반하여 강수, 증발, 토양 수분 함량 변화, 지하수 충전 및 하천 합류와 같은 과정을 시뮬레이션하여 유출량 변화를 예측합니다.예를 들어, 미국 국립기상청에서 널리 사용되는 새크라멘토 토양 수분 회계 모델(SacSMA)은 대표적인 유역 수문 모델입니다. 물리적 모델은 명확한 과학적 근거를 가지고 있으며 수문 연구 및 운영 예측에 중요한 역할을 합니다. 그러나이러한 유형의 모델은 일반적으로 복잡한 매개변수 보정이 필요하며, 비선형적 특성이 강한 수문학적 과정에 대해서는 시뮬레이션 기능이 제한적인 경우가 많습니다.

최근 인공지능 기술은 수문학 분야, 특히 유출량 예측에 딥러닝 모델을 광범위하게 적용하면서 빠르게 발전해 왔습니다. 장단기 메모리(LSTM) 네트워크와 같은 시계열 신경망은 방대한 양의 과거 데이터를 통해 복잡한 강우-유출 관계를 학습할 수 있으며, 여러 연구에서 기존 모델보다 우수한 예측 능력을 보여주고 있습니다.

하지만 순전히 데이터에 기반한 모델들은 새로운 도전에 직면하고 있습니다. 한편으로 이러한 모델들은 물리적 해석 가능성이 부족하고 실제 수문학적 과정을 제대로 반영하지 못하는 경우가 많으며, 다른 한편으로 극단적인 기후 현상이나 관측되지 않은 유역에서는 모델의 일반화 능력이 불확실합니다. 따라서 수문학계에서는 새로운 연구 접근 방식이 점차 등장하고 있습니다.이는 도메인 지식을 머신러닝 모델에 통합하여 예측력이 뛰어나면서도 물리 법칙을 준수하는 지능형 모델을 구축하는 것을 의미합니다.이러한 방향을 "지식 기반 기계 학습(KGML)"이라고 합니다.

이러한 배경 속에서 미네소타 트윈시티 대학교의 연구팀은 새로운 지식 기반 기계 학습 모델을 개발했습니다.이 모델의 알고리즘 구조는 수문학에서 직접적인 영감을 받았으며, 요인화 계층 신경망(FHNN)이라고 합니다.연구 결과에 따르면, 예보 발표 후 2~7일 이내의 기간 동안 해당 모델은 미국 국립기상청의 홍수 예보와 비슷하거나 더 나은 성능을 보이며, 물리 과학 지식을 구조에 통합하지 않은 주류 머신러닝 방법보다도 우수한 성능을 나타냅니다.

"홍수 예측을 위한 지식 기반 기계 학습"이라는 제목의 관련 연구 결과가 Water Resources Research에 게재되었습니다.

연구 하이라이트:

* 제안된 방법은 역모델을 통해 관측 정보를 통합하여 계층적 다중 스케일 유역 상태 표현을 구축합니다.

* 예측 생성 후 12~18시간이 지난 시점에서 FHNN 모델은 물리적 메커니즘 모델을 사용하는 전문가 예측가보다 일반적으로 더 나은 성능을 보였습니다.

* 제안된 방법은 최첨단 대안 모델(자기회귀 LSTM)보다 우수한 성능을 보이며, 특히 다른 방법을 사용해 예측하기 어려운 건조 유역에서 더욱 뛰어난 성능을 나타냅니다.

서류 주소:
https://agupubs.onlinelibrary.wiley.com/doi/10.1029/2024WR039064
저희 공식 위챗 계정을 팔로우하고 백그라운드에서 "FHNN"이라고 답장하시면 전체 PDF 파일을 받으실 수 있습니다.

데이터셋: 벤치마크 데이터셋과 비즈니스 데이터셋의 균형 유지

연구진은 모델의 예측력을 검증하기 위해 두 가지 유형의 데이터 세트를 사용했습니다.

대규모 샘플 CAMELS-US 벤치마크 데이터 세트

모델 학습 및 기본 평가 단계에서는 널리 알려진 CAMELS-US 데이터셋을 사용했습니다. CAMELS(Catchment Attributes and Meteorology for Large-Sample Studies)는 최근 수문학 연구에서 가장 영향력 있는 데이터셋 중 하나이며, 핵심 특징은 유역의 장기간에 걸친 수문 및 기상 관측 데이터를 대량으로 포함하고 있다는 점입니다. CAMELS-US 데이터 세트는 미국 본토 전역의 수백 개의 유역을 포함하며, 강수량, 기온, 증발산량, 하천 유출량에 대한 일일 데이터와 풍부한 유역 속성 정보를 제공합니다.예를 들어 지형, 기후 유형, 토양 조건 및 식생 피복 등이 있습니다. 이러한 정보는 다양한 환경 조건에서 수문학적 과정을 연구하는 데 중요한 기반을 제공합니다.

이 연구에서는연구진은 실험 대상으로 531개의 유역을 선정했다.데이터는 시간 순서에 따라 훈련, 검증 및 테스트 단계로 나뉩니다.

* 1985년부터 1993년까지를 훈련 기간으로 함

* 검증 기간은 1993년부터 1995년까지입니다.

* 1995년부터 2005년까지를 시험 기간으로 설정함

사업장 홍수 예측 데이터

본 연구에서는 표준 데이터 세트 외에도 실제 운영 홍수 예측 데이터를 추가로 도입하여 실제 예측 환경에서 모델의 성능을 테스트했습니다.본 연구에서는 국립기상청 북중부 하천예보센터(NCRFC) 관할 구역에 속하는 여러 하천 유역을 사례 연구 대상으로 선정하였다.이 유역들은 미국 중서부에 위치하며 전형적인 대륙성 기후 특성을 보여 집중 호우로 인한 홍수와 눈 녹음으로 인한 홍수를 모두 경험하므로 매우 대표적인 지역입니다. 관련 수문학적 데이터는 주로 미국 지질조사국(USGS)의 하천 유량 관측 자료에서, 강수량 및 기온과 같은 기상학적 데이터는 미국 국립기상청의 예보 데이터베이스에서 가져왔습니다.

미국 국립기상청의 홍수 예보 시스템은 "상호 연계 예보" 모델을 사용한다는 점에 주목할 필요가 있습니다. 이 모델에서는 먼저 물리 모델이 초기 예보 결과를 생성하고, 숙련된 수문학자들이 실시간 관측 자료와 전문 지식을 바탕으로 이를 조정하여 최종적으로 공식 예보를 도출합니다. 이 방법은 많은 경우 예보 정확도를 크게 향상시킬 수 있습니다. 따라서 본 연구에서는,인간 전문가의 예측과 자동화된 머신러닝 모델을 비교하는 것은 인공지능 모델이 실제 비즈니스 환경에서 활용될 수 있는 잠재력을 직접적으로 보여주기 때문에 매우 중요합니다.

모델 프레임워크: 지식 기반 아키텍처 FHNN

FHNN은 복잡하고 계층적인 시스템 역학 프로세스를 다양한 시간 척도에 걸쳐 모델링하도록 설계된 지식 기반 아키텍처입니다.

이러한 계층적 상호작용 구조는 유역 수문 모델링에 매우 중요합니다. 예를 들어, 폭우는 지표면 토양 수분 저장량을 급격하게 변화시킬 수 있으며, 식물은 증발산 작용을 통해 이 수분을 이용합니다. 증발산 작용은 시간별, 일별, 계절별로 변동될 수 있습니다. 동시에, 강우는 더 깊은 토양층을 통해 시간이 지남에 따라 지하수 저장량을 보충할 수 있는데, 이 부분에서는 변화가 일반적으로 더 점진적입니다. 또한, 지표면 토양 수분 저장량은 강우나 눈 녹음이 홍수 유출수로 전환되는 양에도 영향을 미칩니다.

FHNN 방법은 수문학 및 유출 발생에서 흔히 나타나는 이러한 다중 규모 및 계층적 프로세스를 포착하는 것을 목표로 합니다.전체적인 구조는 다음 다이어그램에 나와 있습니다.

FHNN 아키텍처에서는 두 가지 방식으로 지식이 도입됩니다.

방법 1: 인코더-디코더 아키텍처 사용

이 접근 방식은 상태 인코더(역모델)와 응답 디코더(정모델)를 사용하여 순방향 및 역방향 프로세스를 명시적으로 모델링합니다.인코더 부분은 "역모델"로 간주되며, 주요 기능은 과거 기상 및 유출량 데이터를 사용하여 유역의 현재 내부 상태를 추론하는 것입니다.예를 들어, 과거 강수량, 기온, 유출량 변화를 분석함으로써 모델은 현재 토양 수분 함량 및 지하수 매장량과 같은 주요 변수를 추정할 수 있습니다. 이러한 변수들은 현실에서 직접 관찰하기 어렵지만, 머신러닝 기법을 사용하면 효과적으로 추정할 수 있습니다. 유역 상태를 파악한 후, 모델은 디코딩 단계로 진입합니다.

디코더는 알려진 유역 조건과 미래 기상 예보를 기반으로 미래 유출량 변화를 예측하는 역할을 하는 "순방향 모델"로 간주됩니다.

FHNN 모델은 예측값과 실제 응답 데이터 간의 차이를 최소화하도록 엔드투엔드 방식으로 학습됩니다. 또한, 이 아키텍처는 유출량 관측값(응답값)이 획득될 때마다 인코더 상태를 실시간으로 업데이트하여 동적 데이터 통합을 가능하게 합니다.

방법 2: 계층적 인수분해 설계를 통해 FHNN 아키텍처에 지식을 도입하기

이 디자인에서는,FHNN의 인코더는 다중 스케일 프로세스와 그 상호작용을 포착하도록 설계되었습니다.계층적 상태 인코더는 여러 개의 양방향 LSTM을 사용하여 과거 유출량 관측값과 기상 데이터를 입력으로 받아 다양한 시간 해상도/규모(예: 느림, 중간, 빠름)에 대한 임베딩을 생성합니다.

이러한 임베딩은 과거 주행 데이터, 시스템 응답 및 이들의 다중 스케일 상호 작용(계절별, 준계절별, 일별/준일별 스케일)에 포함된 정보의 압축된 표현을 제공합니다. 잠재적인 시스템 상태(예: 토양 수분, 공간 연결성, 적설량)의 압축된 표현인 이러한 임베딩은 디코더의 은닉 상태와 단위 상태를 초기화하기 위해 연결됩니다. 그 후,디코더는 미래 기상 요인을 입력으로 받아 유출량 예측값을 생성합니다. 인코더와 디코더는 단일 목적 함수를 사용하여 함께 학습됩니다.목적 함수는 목표 예측 기간 내에서 예측된 유출량과 관측된 유출량 사이의 제곱평균오차(RMSE)를 최소화합니다.

양방향 LSTM은 양방향에서 동시에 시퀀스를 읽어 인코더가 관측 데이터에서 사용 가능한 모든 관계를 활용하여 유역 내 상태를 보다 포괄적으로 이해할 수 있도록 합니다.이러한 접근 방식은 수문학에서도 직관적인 의미를 갖습니다. 예를 들어, 연구자들은 강우와 그에 따른 지연 유출 반응을 관찰함으로써 토양 수분 정보를 얻을 수 있습니다. 마찬가지로, 먼저 유출 반응을 관찰한 후 해당 강우를 발생시킨 강우량을 분석함으로써 토양 수분 상태를 추론할 수 있습니다. 양방향 LSTM 인코더는 모델이 이러한 두 가지 "관점"에서 과거 데이터를 분석하고 디코더의 은닉 상태와 셀 상태를 초기화하는 데 사용되는 최종 "최적 추정치"를 얻을 수 있도록 합니다.

FHNN은 물리적 메커니즘 모델을 사용하는 전문가 예측가보다 전반적으로 우수한 성능을 보입니다.

연구진은 여러 실험을 통해 FHNN의 수문 예측 능력을 입증했습니다. 첫 번째 실험에서는 대규모 CAMELS 데이터셋을 사용하여 동일한 입력 변수와 데이터 통합 기능을 갖춘 대표적인 딥러닝 모델인 LSTM-AR과 FHNN을 비교했습니다. 두 번째 실험에서는 미국 중서부 지역의 국립기상청(NWS) 공식 예측 사이트를 대상으로 FHNN의 실제 예측 환경에서의 성능을 평가했습니다.

LSTM 모델과의 비교

CAMELS-US 데이터셋에서 FHNN을 기존의 자기회귀 LSTM 모델(LSTM-AR)과 비교했습니다.FHNN은 7일 예측 기간과 전체 예측 모두에서 LSTM-AR보다 우수한 성능을 보입니다.두 모델 모두 1일 예측 데이터만으로 학습했을 때에도 FHNN이 더 나은 성능을 보였습니다. 전체 성능은 아래 표에 나와 있습니다.

각 유역의 성능 차이와 특성 간의 관계를 분석하여 도표를 작성했습니다.연구진은 또한 FHNN이 강수량이 적고, 유출 계수가 낮으며, 가뭄 수준이 높은 유역에서 LSTM-AR보다 우수한 성능을 보였다는 사실을 발견했습니다.아래와 같이 표시됩니다.

기저유량지수, 잠재증발산량(PET), 유역 경사도에서 뚜렷한 경향이 관찰되지 않았습니다. 이 결과는 다음과 같은 점을 시사합니다...건조한 유역이나 총 유출량 대비 총 강수량 비율이 낮은 유역에서는 FHNN이 LSTM-AR에 비해 가장 큰 성능 우위를 보인다.

연구진은 또한 NWS의 KALI4 유역에서 FHNN과 LSTM-AR을 비교했으며, 아래 그림에서와 같이 NWS 전문가 예보관의 예측 능력과도 비교했습니다.

결과에 따르면 예보 발표 후 첫날에는 SacSMA 모델을 사용하는 NWS 전문가 예보관의 예측 능력이 FHNN 및 LSTM-AR 모델보다 높았지만, 동일한 기간 내에서는 차이가 있었습니다.FHNN은 여전히 LSTM-AR보다 우수한 성능을 보이며 홍수 상황에서 더 나은 데이터 통합 기능을 보여줍니다.2~4일 이상의 예측 기간 내에서 FHNN은 NWS 예측 및 LSTM-AR에 비해 상대적으로 가장 높은 예측력을 보여줍니다.

사업 전망과의 비교

이 연구는 또한 46건의 실제 홍수 사례를 분석했으며, 그 결과는 다음과 같습니다.FHNN은 65% 이벤트에서 공식 예측치를 뛰어넘는 성과를 보였습니다.아래 표에 나와 있는 바와 같습니다.

예보 소요 기간 측면에서 보면, 수위 예보(즉, 미국 국립기상청에서 실제로 발표하는 예보)의 경우 그렇습니다.FHNN은 예보 발표 후 12시간(2단계 시간 간격) 만에 NWS 전문가 예보관보다 더 나은 예측 성능을 보이기 시작했습니다.교통량 예측에서 FHNN은 18시간(3단계) 후 NWS 전문가 예측가보다 우수한 성능을 보였습니다. 평가 지표에 따라 2일차부터 3~4일차 사이에는 FHNN의 예측 능력이 인간 예측가보다 훨씬 높았습니다. 하지만 4일차 이후에는 FHNN과 인간 예측가 간의 예측 능력 차이가 유의미하지 않게 되었습니다.

홍수 최고치 예측 기능

주요 성과 지표 중 하나는 하천 수위 최고치 예측 오차입니다.이는 특정 강우 또는 눈 녹음 현상 동안 유출 수문곡선에서 도달한 최고 피크 값을 의미합니다.따라서 연구진은 불확실한 미래 강수량 예측을 사용하여 홍수 최고 수위 예측에서 FHNN과 NWS 예측 전문가의 성능을 평가했습니다. 또한 예측 전문가들이 사용한 SacSMA 모델과 FHNN 및 예측 전문가의 성능을 비교했습니다. 결과는 다음과 같습니다...FHNN은 인간의 보정을 거치지 않은 물리적 모델보다 홍수 최고 수위 예측에서 훨씬 뛰어난 성능을 보이지만, 전문가 예측에는 약간 못 미칩니다.

아래 그림에서 볼 수 있듯이, 인간 예측가는 약 60시간 이상의 예측 기간을 제외한 거의 모든 예측 기간에서 홍수 최고 수위 예측에서 FHNN보다 우수한 성능을 보였습니다.

하지만 미래 기상 조건을 완전히 알지 못하는 경우에도 FHNN의 홍수 최고 수위 예측은 관측된 강수량에만 의존하고 예보관의 개입이 없는 SacSMA 모델보다 여전히 우수한 성능을 보입니다.

홍수 최고조 발생 48시간에서 18시간 전 사이에,FHNN은 데이터 통합을 통해 인간 예측가와 유사한 수준의 예측 정확도 향상을 달성합니다.이 기간 동안 예측은 6시간마다 업데이트되었으며, 홍수 최고 수위 예측 오차(RMSE)는 약 0.2피트 감소했습니다. 그러나 홍수 최고 수위 발생 2.5일 전까지는 인간 예측가들이 모든 예측에서 여전히 우위를 유지했습니다. 홍수 최고 수위 발생 12~18시간(2~3시간 단계) 전에는 FHNN의 홍수 최고 수위 예측 RMSE가 기본적으로 감소를 멈추고 오히려 약간 증가했습니다.

이는 FHNN이 홍수 최고점에 가까워질수록 인간 예보관보다 시스템 변화에 덜 민감하다는 것을 나타냅니다. 이러한 결과는 전반적인 예보 능력 비교와 일치하는데, NWS는 예보 발표 후 처음 12~18시간 동안 더 높은 예측력을 보입니다. 홍수 최고점 부근에서 FHNN의 반응이 불충분한 것은 극값 예측의 문제와 관련이 있을 수 있습니다.LSTM 모델의 경우, 훈련 데이터에 극심한 홍수 사례가 상대적으로 적기 때문에 최고 홍수 수위를 예측하는 것은 종종 어렵습니다.

수문학 연구에 인공지능을 적용하는 데 있어서의 진전

최근 인공지능 기술은 수문 연구 및 운영 예측에 대한 기술적 접근 방식을 근본적으로 변화시키고 있습니다. 통계적 회귀 분석에 기반한 초기 방법에서 딥러닝으로 대표되는 오늘날의 데이터 기반 모델에 이르기까지, 수문 예측은 점차 지능화되고 자동화된 단계로 나아가고 있습니다.

응용 분야에서, 장단기 메모리(LSTM) 네트워크로 대표되는 시계열 딥러닝 모델은 수문 예측을 위한 주요 도구 중 하나로 자리 잡았습니다. 수많은 연구에서 다음과 같은 사실이 밝혀졌습니다...이러한 유형의 모델은 일반적으로 다중 유역 유출 시뮬레이션에서 기존 물리 모델보다 우수한 성능을 보이며, 특히 데이터가 풍부한 지역에서 예측 능력이 더욱 뛰어납니다.

최근 몇 년 동안 Transformer 아키텍처가 수문학 분야에 점차 도입되고 있습니다. 장기 시퀀스 모델링에서의 장점 덕분에 장기적인 수문학적 기억을 포착하는 새로운 가능성이 열렸습니다. 동시에 학계와 엔지니어링 분야에서는 데이터 기반 모델에만 의존하는 것에는 한계가 있다는 점을 점차 인식하게 되었습니다. 예를 들어, 물리적 제약 조건이 부족하면 극단적인 경우 수문학적 법칙에 부합하지 않는 결과가 나올 수 있고, 모델의 해석 가능성 또한 약해집니다. 따라서,"물리 정보 기반" 또는 "지식 기반" 머신러닝 방법이 새로운 연구의 핵심 분야로 떠오르고 있습니다.

최근 연구 동향을 살펴보면, 다중 소스 데이터 융합은 수문 모델의 성능 향상을 위한 중요한 방향으로 떠오르고 있습니다. 위성 강수량, 토양 수분, 적설량 등의 원격 탐사 데이터와 지상 관측 데이터를 결합함으로써 모델은 더욱 포괄적인 유역 정보를 얻을 수 있습니다. 동시에 그래프 신경망(GNN) 또한 유역 간의 공간적 관계를 모델링하는 데 활용되기 시작했으며, 이는 지역 규모의 홍수 예측 능력 향상에 기여하고 있습니다.

최근 구글 리서치는 비정형 데이터에서 검증된 지표 정보를 추출하여 과거 재해 발생 지역을 전례 없는 정확도로 지도화할 수 있는 홍수 데이터셋인 Groundsource를 오픈소스로 공개했습니다.연구진은 150개국 이상에서 나온 500만 건 이상의 뉴스 보도를 자동화된 방식으로 처리하여, 궁극적으로 260만 건 이상의 과거 홍수 발생 기록을 수집했습니다. 이는 전례 없는 규모와 범위의 데이터를 제공하여 전 세계 홍수 연구에 중요한 기반을 마련했습니다.

현재,"Groundsource Global Flood Events Dataset"은 이제 HyperAI 웹사이트(hyper.ai)의 데이터셋 섹션에서 이용 가능하며 온라인으로 사용할 수 있습니다.
https://go.hyper.ai/KO3dB

앞서 구글 리서치의 그레이 니어링 연구팀은 머신러닝 기반 하천 수위 예측 모델을 개발했는데, 이 모델은 최대 5일 전까지 홍수를 정확하게 예측할 수 있습니다. 5년에 한 번 발생하는 홍수를 예측할 때, 이 모델은 1년에 한 번 발생하는 홍수를 예측하는 기존 방식보다 성능이 우수하거나 동등한 수준입니다. 이 시스템은 80개국 이상에서 활용 가능합니다.

논문 제목: 미측정 유역의 극한 홍수에 대한 전지구적 예측
서류 주소:https://www.nature.com/articles/s41586-024-07145-1

비즈니스 응용 관점에서 볼 때, 인공지능은 전통적인 수문 예보관을 완전히 대체하지는 않겠지만, '인간-기계 협업'을 통해 중요한 역할을 수행할 가능성이 높습니다. AI 모델은 빠르고 안정적인 예측 결과를 제공하고, 전문가들은 경험을 바탕으로 주요 시나리오에 대한 수정 및 판단을 내릴 수 있습니다. 이러한 협업 모델은 예측 효율성을 향상시킬 뿐만 아니라 극한 상황에서의 시스템 신뢰성을 강화하는 데에도 도움이 될 수 있습니다. 데이터 규모의 지속적인 확장과 알고리즘 기능의 향상에 따라 미래의 홍수 예측 시스템은 더욱 지능적이고 효율적이며 적응력이 뛰어나 재해 예방 및 완화, 수자원 관리 분야에 더욱 강력한 기술적 지원을 제공할 것입니다.

참고문헌:
1.https://agupubs.onlinelibrary.wiley.com/doi/10.1029/2024WR039064
2.https://phys.org/news/2026-03-ai-higher-accuracy-current-methods.html
3.https://mp.weixin.qq.com/s/ZWU-v_4k7FIm0MoDh6Rxuw
4.https://www.nature.com/articles/s41586-024-07145-1