중국과학원 팀은 전 세계 2,000개 이상의 수문 관측소에서 데이터를 분석하고 훈련하여 모니터링 데이터가 없는 지역에서 홍수 예측을 달성하기 위해 ED-DLSTM을 출시했습니다.
지구 기후 변화가 계속됨에 따라 홍수 재해가 점점 더 빈번해지고 있습니다. 벨기에 루뱅대학교 재난 역학 연구 센터와 유엔 재난 위험 감소 사무국이 공동으로 발표한 보고서는 다음과 같이 지적했습니다.지난 20년 동안 전 세계 홍수 재해 건수는 1,389건에서 3,254건으로 3배 이상 늘어났으며, 전체 재해의 401%를 차지하며 165만 명의 사람들에게 영향을 미쳤습니다.
홍수로 인해 막대한 사상자와 재산 피해가 발생할 수 있습니다. 올해 4월 홍수와 지질 재해로 인해 장시, 광둥 등 17개 성(시·도)에서 159만 8천여 명이 다양한 정도의 재해 피해를 입었고, 24명이 사망하거나 실종되었으며, 14만 300헥타르의 농작물이 피해를 입었고, 직접적인 경제 손실은 119억 8천만 위안에 달했습니다. 재난으로 인한 손실은 지난 10년 동안 같은 기간 중 가장 컸습니다.
홍수 재해 위험을 줄이려면 홍수 흐름을 효과적으로 예측하는 것이 중요합니다. 지난 수십 년 동안 수문학적 과정에 기반한 홍수 유량 예측은 상당한 진전을 이루었지만, 현재 방법의 예측 결과는 여전히 모니터링 데이터와 매개변수 보정에 크게 의존합니다. 실제로 전 세계적으로 95% 이상의 유역에 대한 모니터링 데이터는 없습니다.모니터링 데이터가 없거나 부족한 지역에서 유출 및 홍수 예측을 어떻게 해결할 것인가는 수문학 분야가 오랫동안 직면해 온 문제입니다.
2024년 4월, 중국과학원 산하 청두 산악재해환경연구소의 오우양차오쥔 연구팀은 The Innovation에 "전 세계적 규모의 지역 간 유량 및 홍수 예측을 위한 딥러닝"이라는 제목의 논문을 발표했습니다.AI 기반 유출 홍수 예측 모델 ED-DLSTM을 제안한다. 유역과 기상 요인의 정적 속성을 인코딩하여, 전 세계 2,000개 이상의 수문 관측소에서 수집한 데이터를 사용하여 모델을 훈련하고, 전 세계적으로 모니터링 데이터가 있는 유역과 없는 유역의 유출 예측 문제를 해결하려고 시도합니다.
연구 하이라이트:
- ED-DLSTM 모델은 모니터링 데이터가 있는 유역과 없는 유역 모두에서 홍수 예측에 좋은 성과를 보였습니다.
- 처음으로 여러 수문학적 AI 모델이 전 세계적으로 훈련되고 비교되었습니다.
- 공간 속성의 인코딩은 시계열의 예측 능력을 크게 향상시키고 이전 가능성을 잘 설명합니다.
서류 주소:
https://doi.org/10.1016/j.xinn.2024.100617
데이터 세트: 상당한 분포 차이가 있는 유역 데이터
본 연구에서 사용된 학습 데이터 세트는 다음 그림과 같이 미국(482개 유역), 영국(406개 유역), 중부 유럽(461개 유역), 캐나다(740개 유역) 등의 2,089개 유역에서 추출되었습니다.
데이터세트 다운로드 주소:
- 중부 유럽 라마H-CE:https://go.hyper.ai/rMHSO
- 칠레, 카멜스-CL:https://camels.cr2.cl/
- 캐나다 하이셋:https://go.hyper.ai/l4etG
일반적으로 동부 지역의 전체 강수량과 토양 수분 함량은 일반적으로 미국 서부와 캐나다보다 높습니다. 서부 영국과 북부 스코틀랜드 고지대는 일반적으로 연평균 토양 수분과 강수량이 높은 반면, 다른 변수의 변동성은 비교적 낮습니다. 중부 유럽의 오스트리아 지역에 있는 대부분의 강 유역은 지형이 높고 강수량이 많으며 기온이 낮습니다. 로키산맥은 미국과 캐나다를 가로지르며, 인근 분지는 지형이 높고 강수량이 많으며 토양 수분 함량이 낮습니다. 복잡한 증발과 눈 녹음 효과로 인해 유출량의 변화 계수가 더욱 커집니다.
연구자들의 견해에 따르면,위에 언급된 지역 유역의 분포 차이는 상당하며, 공간적 변동성이 충분히 커서 데이터의 다양성을 보장할 수 있으며, 이는 ED-DLSTM의 지역 간 유량 예측(CSF) 능력을 검증하기에 충분합니다.
모델 아키텍처: 새로운 지역 간 시공간 통합 모델 ED-DLSTM
본 논문에서 연구자들은 새로운 지역 간 시공간 통합 모델인 ED-DLSTM을 제안했습니다.이 모델은 정적 공간 속성과 시간적 강제 속성을 결합합니다.지역 간 교통 예측을 달성하기 위해 다음 그림은 ED-DLSTM 모델의 전체 아키텍처를 보여줍니다.
ED-DLSTM 모델은 인코더-디코더 구조를 사용합니다.여기에는 상생적 방식으로 작동하는 두 개의 하위 모델이 포함되어 있으며 공동 모델링을 통해 글로벌 및 로컬 유역 관계를 파악하는 데 더 적합합니다. 위 그림에서 보듯이, 모델의 입력은 다중 모드 데이터이고, 입력된 공간 정적 그리드 속성 데이터는 상대적으로 희소한 행렬을 형성합니다.
안에,인코더는 정적 속성과 강제 데이터를 결합합니다.정적 데이터에는 디지털 표고 모델(DEM), 적설 범위, 토양 수분 함량, 지하수 깊이, 잠재 증발산량, 가뭄 지수 및 하천 지형이 포함됩니다. 이러한 속성은 모델이 다양한 지역의 수문학적 행동을 구별하는 데 도움이 됩니다. 강제 데이터에는 강수량, 태양 복사량, 기온, 이슬점 온도, 지표면 기압, 동풍과 북풍 속도가 포함됩니다. 이 데이터의 시간적 해상도는 24시간입니다.
정적 정보는 일반적인 합성곱을 사용하여 채널을 통합하고, 잔여 합성곱은 공간적 정적 속성을 추출하는 데 사용됩니다. 그런 다음 공간 피라미드 풀링(SPP)을 사용하여 다양한 영역의 행렬 정보를 고정된 고차원 공간에 매핑하여 특정 영역을 공간적으로 인코딩합니다. 이후, 인코딩된 벡터는 LSTM 단위의 초기 상태 계층으로 사용됩니다.
디코더는 역방향 LSTM 계층을 사용하여 고수준 기능을 예측된 교통 값에 매핑하는 역할을 합니다.연구진은 Seq2Seq 모델의 전체 정보가 마지막에 디코딩되어야 하며, 이 디코딩 계층이 역방향으로 정보 추세를 포착할 수 있기 때문에 마지막 LSTM 단위에서 트래픽 매핑을 수행하기로 결정했습니다. 연구자들은 다양한 유역의 다양한 수문학적 반응 행동을 개별적으로 인코딩하고 디코딩할 수 있습니다.
궁극적으로 네트워크는 지역적 정적 속성에 따른 관측된 흐름에 대한 동적 시계열의 매핑 관계를 학습하여 일관된 CSF 기능을 제공하고, 모델이 다양한 유역의 수문학적 반응 특성을 추상적으로 "인식"할 수 있도록 합니다.
연구 결과: ED-DLSTM 모델은 뛰어난 예측 및 일반화 기능을 가지고 있습니다.
먼저, 연구진은 2010년 1월 1일부터 2012년 1월 1일까지 ED-DLSTM 모델의 예측 신뢰도를 비교 평가하고, Nash-Sutcliffe 효율성(NSE)을 사용하여 정량적으로 평가했습니다.
- NSE(값 범위는 (-∞, 1])는 수문모델의 시뮬레이션 결과를 평가하는데 사용된다(NSE 값이 1에 가까울수록 모델 시뮬레이션 결과가 실제 관측치와 더 일관성이 있고, 0보다 작은 NSE 값은 모델 시뮬레이션 결과가 좋지 않음을 나타낸다)
위 그림에서 보여지는 바와 같이:
- 미국에서는 분석된 482개 유역 중 438개에서 NSE가 0보다 컸으며, 평균 NSE는 0.78, 중간 NSE는 0.80이었습니다.
- 캐나다 지역에서 분석된 740개 유역 중 695개에서 NSE가 0보다 컸으며, 평균 NSE는 0.80, 중간 NSE는 0.82였습니다.
- 영국에서 분석된 406개 유역 중 391개 유역의 NSE가 0보다 높았으며, 평균 NSE는 0.68, 중간 NSE는 0.70이었습니다.
- 중부 유럽에서는 연구 대상 유역 461개 중 433개에서 NSE가 0보다 크고, 평균 NSE는 0.73, 중간 NSE는 0.79입니다.
전반적인,강수량이 많거나 유출 계수가 큰 유역은 일반적으로 더 나은 예측 결과를 산출합니다. 81.8% 유역의 평균 NSE가 0.6보다 높다는 점은 주목할 만하며, 이는 ED-DLSTM 모델의 뛰어난 예측 및 일반화 역량을 보여줍니다.
연구진은 위의 4개 지역(북반구)의 사전 훈련된 모델을 기반으로 칠레(남반구)의 160개 새롭고 생소한 유역에 대한 예측을 수행했습니다(과거 모니터링 데이터 훈련 없음). 이는 모니터링 데이터가 없는 유역에서 모델의 예측 능력을 테스트하기 위한 것입니다. 결과는 아래 그림과 같습니다.
ED-DLSTM을 칠레의 새로운 지역에 직접 적용했을 때, 미국에서 사전 학습된 모델은 76.9% 유역에서 NSE가 0보다 큰 것으로 나타났습니다. 캐나다에서 사전 학습된 모델은 66.2% 유역에서 0보다 큰 NSE를 달성했습니다. 중부 유럽에서 사전 학습된 모델은 53.1% 유역에서 0보다 큰 NSE를 달성했습니다. 영국에서 사전 학습된 모델은 NSE가 0보다 큰 유역이 42.5%에 불과해 가장 나쁜 성과를 보였습니다.
다양한 사전 학습된 모델의 예측 결과는 공간적 분포에서 강력한 일관성을 보였으며, 이는 계량되지 않은 유역의 물 흐름과 홍수 예측에 AI가 큰 잠재력을 가지고 있음을 보여줍니다.
사전 훈련된 모델을 사용하여 모니터링 데이터 없이 칠레의 160개 유역을 예측했을 때, 각 유역의 특성이 시각화되었고(아래 그림의 왼쪽) ED-DLSTM 인코더를 사용하여 유사성이 분석되었습니다(아래 그림의 오른쪽). 사전 학습된 모델 간의 평균 인코딩 유사도가 랜덤 노이즈보다 38.4% 더 높은 것으로 나타났는데, 이는 ED-DLSTM의 임베딩 계층이 무질서한 랜덤 신호가 아니라 모델이 인식하고 활용하는 고차원 특징 정보임을 나타냅니다.이는 AI가 다양한 유역에서 '수문학 지식'을 학습할 수 있음을 증명합니다.
AI + 수문학, 스마트 수자원 보전 발전 촉진
홍수 예측은 수문학의 중요한 분야 중 하나입니다. 수문학에 대해 말하자면, 우리나라는 진나라 이전부터 이미 강우량과 수위를 측정해 왔습니다. 전국시대에 진나라는 '토지법'을 제정하여 지방 관리들이 강우량과 이로 인해 혜택을 입거나 피해를 입은 토지 면적을 적시에 보고하도록 규정했습니다. 그 이후로 모든 왕조는 홍수 보고 체계를 갖추게 되었습니다.
수문예측은 홍수 조절 및 가뭄 완화에 대한 의사결정, 수자원의 합리적 이용, 생태적 환경 보호, 물 보존 및 수력 발전 프로젝트의 운영 및 관리를 위한 중요한 기초입니다.기존의 수문학적 예측 방법은 복잡한 물리적 과정을 시뮬레이션하기 위해 수력학과 결합된 과정 중심의 수문학적 모델을 주로 사용합니다. 그러나 고품질의 물리적 데이터, 복잡한 수학적 도구, 그리고 수많은 단순화된 가정은 교정과 검증에 어려움을 야기합니다.인공지능 기술과 학제간 학문의 발전으로 많은 연구자들이 인공지능 수문예측모델에 대한 심층적인 연구를 진행하고 있습니다.
2019년, 우한대학교 수자원 및 수력발전 공정과학 국가중점실험실 연구팀은 LSTM 장단기 메모리 신경망과 배치 크기 학습, 정규화 및 드롭 아웃 뉴런을 결합한 딥러닝 네트워크를 제안하고, 이를 싼샤 저수지의 홍수 예측에 적용했습니다. 예측 적격률, 홍수 정점 상대 오차, 제곱 평균 오차, 벤치마크 적합도 등 4개 지표를 종합적으로 평가한 결과, BPNN 정적 신경망과 NARX 동적 신경망에 비해 LSTM 장단기 메모리 신경망과 3개의 딥러닝 보조 알고리즘을 결합한 것이 삼협 저수지 유입 홍수 예측 정확도를 효과적으로 향상시킨 것으로 나타났습니다.
2020년에 노스웨스턴 폴리테크닉 대학의 연구팀은 황하보전연구소와 협력하여 황하 수문학 연감을 디지털화하고 토양, 기후, 지형, 지질 등 다양한 요소를 정리했습니다.중국 최초로 황하유역의 체계적인 수문 빅데이터가 구축되었습니다.모델 알고리즘 측면에서 그들은 단일 지점 지능형 예측 모델에서 획기적인 발전을 이루었고, 지점 그룹 지능형 예측 모델을 개척했으며, 수문학 분야의 10대 과제 중 하나인 과거 데이터가 없는 지역의 홍수 예측을 극복했습니다. 이로 인해 홍수 예측의 정확도가 크게 향상되고 예측 기간이 연장되었습니다. 지능형 예측 알고리즘은 황토고원의 주요 모래 생산 지역, 황하 중류와 하류의 산먼샤에서 화위안커우까지의 비통제 지역, 황하 상류의 탕나이하이에 성공적으로 적용되어 홍수 예측 능력이 크게 향상되었습니다.
2024년 3월, Google Research의 홍수 예측팀 소속인 그레이 니어링과 그의 동료들은 5,680개의 기존 계측기를 사용하여 모델을 학습시켜 7일 예보 기간 동안 계측되지 않은 유역의 일일 유출량을 예측할 수 있는 AI 모델을 개발했습니다. 그런 다음 그들은 세계 최고의 단기 및 장기 홍수 예측 소프트웨어인 Global Flood Alert System(GloFAS)에 대해 AI 모델을 테스트했습니다.
연구 결과에 따르면 이 모델의 당일 예측 정확도는 현재 시스템과 비슷하거나 더 높은 것으로 나타났습니다. 또한, 이 모델은 5년의 재현 기간을 갖는 극한 기상 현상을 예측하는 데 있어 GloFAS가 1년의 재현 기간을 갖는 현상을 예측하는 데 있어 정확도가 비슷하거나 더 좋습니다. "계측되지 않은 유역의 극심한 홍수에 대한 전 세계 예측"이라는 제목의 관련 연구 논문이 권위 있는 과학 저널인 네이처에 게재되었습니다. (자세한 보고서는 여기를 클릭하세요: 구글 홍수 예측 모델이 세계 1위 시스템을 제치고 80개국 이상을 포괄하며 다시 네이처에 등장했습니다)
오늘날 스마트 수자원 보호는 원래 사물 인터넷에서 지능형 인터넷으로 업그레이드되었습니다. 즉, IoT 기기가 데이터를 수집하고, AI가 데이터를 기반으로 분석 및 예측하고, 예측 결과를 실시간으로 관련 인력에게 피드백하여 홍수 사고가 발생하기 전에 사람들을 대피시키고 공공 재산을 보호합니다. 미래에는 AI 기술 발전을 기반으로 한 스마트 수자원 보존을 통해 수자원 계획, 프로젝트 건설, 운영 관리 및 사회 서비스 분야의 지능화를 지속적으로 추진하고, 수자원 이용 효율을 높이고 수해 및 가뭄 재해를 예방하는 능력을 향상시키며, 수자원 환경 및 수생태계를 개선할 것입니다.
참고문헌:
1.https://mp.weixin.qq.com/s/sKPl55AEVf9GoXsLv0-8Hg
2.https://www.hanspub.org/journal/PaperInformation?paperID=28786