世界 No.1 のシステムを破り、80 か国以上をカバーする Google の洪水予測モデルが再び Nature に掲載

8 个月前

情報

科学のための AI

LSTM

機械学習

洪水予測システム

グーグル

zhaorui

『商州・堯伝』には、「塘・桓の洪水は寸断され、淮山・香陵の波は非常に広大で、人々は堯・順の時代に洪水を起こした」と記録されている。人々は悲惨だったので、ヤオとシュンは洪水を制御する人を見つけることにしました。最初はグンが命じられましたが失敗し、その後、ダユは再び洪水を制御したという伝説がありました。 13年間洪水に見舞われ、家に入らずに3回も通り抜けた。」
2023年7月、台風ドゥスリによるまれな豪雨が北京を襲い、大慶河流域で記録的なピーク流量を引き起こした。人民日報オンラインによると、北京では129万人以上が洪水の影響を受け、5万9000戸以上の家屋が倒壊し、14万7000戸以上が深刻な被害を受け、22万5000エーカー以上の地域で農作物が被害を受けた。

古代から現代に至るまで、人類は洪水などの自然災害に直面すると、弱い立場に置かれることがよくあります。 Googleの研究科学者グレイ・ニアリング氏は論文の中で、効果的な洪水予測システムが関連死亡を43%削減し、経済的損失を35%～50%削減できることを示した。洪水予測システムの確立は、人類が洪水災害に対処するための重要な手段であることがわかります。
現在の世界的な洪水予測システムのほとんどは、河川沿いに設置された観測所に依存していますが、低・中所得国では導入コストの関係で流量計の設置が少ない傾向があり、そのような国では洪水時の早期対応策を準備することが困難となっています。ストライク。。世界銀行の試算によれば、発展途上国の洪水予測システムが先進国のそれにアップグレードされれば、毎年約 23,000 人の命が救われることになります。観測所のない流域における洪水予測システムの確立が急務である。
幸いなことに、科学技術の発展に伴い、洪水分野における人工知能（AI）の応用により、駅のない流域の洪水防止に希望がもたらされています。Google Research の Gray Nearing 氏と彼のチームは、機械学習に基づいた河川予測モデルを開発しました。このモデルは、5 年前の洪水を確実に予測でき、現在の 1 年分の洪水を予測する場合と同等のパフォーマンスを発揮します。このシステムは 80 か国以上をカバーできます。
研究のハイライト:
※河川予測モデルの予測能力は、世界最先端の洪水予測システムであるGloFASの予測能力を上回っています。

* 計測されていない流域における洪水警報に対するより適切なサポートを提供する

用紙のアドレス:
https://www.nature.com/articles/s41586-024-07145-1
データセットのダウンロードアドレス:
https://hyper.ai/datasets/30647
公式アカウントをフォローし、バックグラウンドで「洪水予報システム」に返信すると全文PDFが入手できます

データセット: 5,680 の流域から

この研究の完全なデータセットには、研究者がモデルを訓練およびテストした 5,680 流域からのモデル入力と (流出) 目標値が含まれています。

この研究では、主に政府からの 3 種類の公的データを入力として使用します。
*地理的および地球物理学的変数を表す静的な流域データ:HydroATLAS プロジェクトによる、長期的な気候指標 (降水量、気温、積雪量)、土地被覆、人為的属性など。
* 過去の気象時系列データ:NASA IMERG、NOAA CPC の世界統一ゲージベースの日降水量分析、および ECMWF ERA5 陸地再分析より。変数には、1 日の総降水量、気温、熱放射、降雪量、表面圧力が含まれます。
※7日間予報範囲内の予測気象の時系列データ：これらのデータは ECMWF HRES 大気モデルからのものであり、気象変数は上記と同じです。

モデルアーキテクチャ: LSTM に基づいて河川予測モデルを構築する

この研究では、2 つの応用長短期記憶ネットワーク (LSTM) を順番に使用して河川予測モデルを構築します。その中核となるのはエンコーダー/デコーダーモデルです。このうち、Hindcast LSTM は過去の気象データを受信し、Forecast LSTM は予測気象データを受信します。モデルの出力は、各予測時間ステップの確率分布パラメーターであり、特定の河川の流量の確率予測を表します。時間。
さらに研究者らは、事前に標準化されたすべての入力データを使用して、50,000 のミニバッチでモデルをトレーニングしました。モデルの学習能力を強化するために、研究者らは、エンコーダーおよびデコーダー LSTM、線形セル状態転送ネットワークおよび非線形隠れ状態転送ネットワークのセル状態の隠れサイズを 256 に設定しました。

モデルの最適化: 相互検証により予測エラーが削減されます

研究者らは、相互検証を使用して 5,680 台の流量計でサンプル外の河川予測モデルをトレーニングおよびテストし、モデルの汎化能力が効果的に評価されていることを確認し、予測の信頼性を向上させました。
まず、時間次元では、1 年以内の監視ステーションのテストデータが、使用するトレーニングデータと重複してはならないように、相互検証フォールドが設計されています。空間次元では、k 分割相互検証 (k = 10) を使用してデータを空間次元で均等に分割します。これら 2 つの相互検証プロセスは、トレーニングとテストの間のデータ漏洩を避けるために繰り返し実行されます。
第二に、異なる地理的地域や環境条件におけるモデルのパフォーマンスをさらに調べるために、研究者らはさらに多くの種類の相互検証実験も実施しました。これには、各大陸 (k = 6)、異なる気候に応じた実験が含まれますが、これらに限定されません。非ランダム空間セグメンテーション用のゾーン (k = 13)、水文学的に分離された流域グループ (k = 8) など。 * k 分割相互検証: データセットを k 個のサブセットに分割し、そのうち 1 個のサブセットを検証に使用し、残りの k-1 個のサブセットをトレーニングに使用します。サブセットごとに 1 回ずつ、k 回の相互検証を繰り返し、k 回の結果を平均してモデルの最終評価を取得します。

実験結果：世界最先端の洪水予測システムよりも優れた性能

洪水事象の予測の信頼性を評価するために、研究者らは河川予測モデルを世界で最も先進的な洪水予測システムである GloFAS (Global Flood Awareness System) と比較しました。

リアルタイム予報における河川予報モデルとGloFASモデル
2年の再発期間でイベントを予測するF1スコアの違い

* 赤は差分値が -0.2 ～ 0 であることを意味します

* 緑色は差分値が 0 ～ 0.2 であることを示します
まず、研究者らは、即時予測で 1984 年から 2021 年までの 2 年間の再現期間イベントを予測する際に、河川予測モデルと GloFAS モデルの間の F1 スコアの差分布を分析しました。
結果は次のことを示しています河川予測モデルは、70% 監視ステーション (合計 3,673) で GloFAS モデルよりも優れたパフォーマンスを示しました。

※青い点線は基準ベースラインです

※Nは監視局数
次に、研究者らは、リアルタイム予測下で、さまざまな再現期間を持つイベントの精度と再現率の分布を分析しました。
結果は、河川予測モデルがすべての再現期間イベントの予測においてより高い信頼性を示すことを示しています。極端現象の予測精度については、河川予測モデルの再現期間 5 年と GloFAS の再現期間 1 年との間に大きな差はなく、再現率は GloFAS よりも高くなっています。これは、再現期間 5 年のイベントを予測する河川予測モデルの精度が、再現期間 1 年のイベントを予測する GloFAS の精度、つまり洪水イベントを予測する精度よりも優れている、または同等であることを示しています。より長い再現期間を持つ最新のモデルは、1 年の再現期間で洪水イベントを予測します。※再現期間：ある洪水のピーク流量が何年に一度発生し、その中の年数が再現期間です。戻り期間が長いほど洪水の規模は大きくなり、戻り期間が短いほど洪水は小さくなります。

第三に、研究者らは、0 ～ 7 日前に予測する際の、さまざまな再現期間を持つイベントの F1 スコアの分布を分析しました。
結果は、1 年 (a)、2 年 (b)、5 年 (c)、および 10 年 (d) の再現期間イベントを予測する場合、河川予測モデルの F1 スコアが最高または最高であることを示しています。 5日前はGloFASの当面の予想と大きな差異はない。これは、河川予測モデルの洪水予測能力が 5 日前以内であれば GloFAS と同等以上であることを示しています。

第 4 に、研究者らは、さまざまな地理的位置と再現期間でのイベントを予測する際の F1 スコアの分布を分析しました。
結果は次のことを示しています地理的な場所によって 2 つのモデルの信頼性には大きな違いがあります。さらに、異なる地理的位置における河川予測モデルの F1 スコアは、1 年 (a)、2 年 (b)、5 年 (c)、および 10 年 (d) の予測において GloFAS のスコアと同等です。リターン期間のイベントが多いか、有意差がない。

ヨーロッパのEFASから中国の新安江モデルに至るまで、AIはインテリジェントな防衛線となっている

実際、Googleは2021年に「Inventors@Google」イベントでAI技術の研究成果を披露した際、既に機械学習ベースの洪水予測システム「Google Flood Hub」について言及しており、その当時は主にこのシステムが応用可能であった。地元の人々に洪水の状況を知らせるための視覚化方法を通じて、インドに貢献しました。 3 年間の開発を経て、Google の最新の洪水予測システムは、観測点のない他の河川流域地域にも拡張でき、80 か国以上をカバーできるようになりました。
同様に、欧州洪水検知システム (EFAS) は、機械学習アルゴリズムと組み合わせた高度な気象予測と水文モデルを使用して、少なくとも 10 日前にヨーロッパ全土に信頼できる洪水予測を提供し、加盟国と地元の洪水センターに警告を送信します。正しい早期警告。
さらに、頻繁に洪水が発生しやすい国の一つとして、我が国の国土の約 3 分の 2 がさまざまな程度の洪水の危険にさらされています。統計によると、1991年から2020年まで、我が国の水害による年間平均死亡者・行方不明者は2,000人を超え、累計死者数は6万人を超え、年間平均の直接経済損失は約1,604億元でした。

洪水の危険に直面して、我が国が独自に開発した新安江モデルは、長期にわたる実践の蓄積と水文学法則の徹底した研究に基づいており、流域全体を複数の単位サブ流域に分割し、地形、土壌、流域の影響を考慮しています。植生や水文学的プロセスに関するその他の要因を分析し、正確な水文予測結果を提供し、洪水防止や災害軽減に広く使用されています。
実際、人類は、より効果的な洪水防止策の探求を止めたことはありませんが、洪水を根本的になくすことはできませんが、高度な洪水予測システムによって、災害を事前に予測し、洪水が人間社会に及ぼす悪影響を大幅に軽減するための対策を講じることができます。。現在、AI 技術に基づく洪水予測システムは特定の地域に限定されるものではなく、将来的には世界中をカバーし、より多くの国民を洪水の危険から守る可能性があります。