精度が400%向上しました！36の気象観測所に基づくインドモンスーン予測モデルにより、都市レベルでの詳細な予報が可能になります。
インドのムンバイは、毎年6月から9月にかけてモンスーンシーズンを迎えます。近年、異常な降雨が頻発しており、平均降雨量は2019年以前と比較して約401 TP3トン増加しています。人口1,800万人のこの沿岸都市は、豪雨によってしばしば混乱に陥ります。気象警報の遅れは、しばしば仕事や学校の休校、さらには深刻な洪水につながります。壊滅的なモンスーン災害により、より正確な地域気象予報が緊急に必要とされています。
しかし、熱帯モンスーン気候においては、標準的な全球気象モデルの解像度（約25平方キロメートル）では、局所的な気象システムの微妙な違いを捉えることが困難です。また、地形の複雑さも洪水の空間的不確実性を悪化させます。そのため、モンスーン予測はこれまでマクロ的な傾向に限定されてきました。
都市部の洪水リスク予測のギャップを埋めるために、インド工科大学ボンベイ校とメリーランド大学の研究チームが協力し、畳み込みニューラルネットワーク（CNN）と転移学習（CNN-TL）に基づく超局所予測モデルを開発しました。このモデルは、ほとんどの大雨事象を数日前に予測することができました。サイエンス誌の最新レポートによると、ムンバイは現在、これを公式の早期警報システムに組み込むことを検討しており、南アジアの都市における超地域的な洪水予報の新たな段階を迎えることになる。
関連の研究結果は、「ムンバイにおける超局所的極端降雨量予報：畳み込みニューラル ネットワーク転送学習ベースのダウンスケーリング アプローチ」というタイトルで SSRN に事前公開されています。
研究のハイライト:
* 都市規模での超ローカルな予測を実現し、解像度を都市部レベルまで下げて、従来の数値モデル（25kmグリッド）における洪水リスク予測の欠点を解決します。
* 畳み込みニューラル ネットワークと転移学習を組み合わせて、完全な降雨データに基づいてモデルをトレーニングし、極端な降雨サンプルを使用して微調整することで、モデルの極端なイベントを捕捉する能力が効果的に向上します。
* ムンバイの異常降雨の空間同期パターンが、従来のクラスタリング手法よりも効率的なイベント同期法とルーヴァンアルゴリズムによって明らかになりました。
用紙のアドレス:
https://go.hyper.ai/j05Vt
公式アカウントをフォローし、「インドのモンスーン予報」と返信すると、完全なPDFが手に入ります。
AIフロンティアに関するその他の論文:
「モデルデータ＋予測データ」、データギャップに基づいて36の観測所をスクリーニング
この研究で使用されるデータセットは、モデルデータと測定データの2つのカテゴリに分かれています。
- モードデータ:米国立環境予測センター（NCEP）の地球予報システム（GFS）は、2015年6月から2023年9月までの期間をカバーし、空間範囲は北緯18°～20°、東経72°～74°、解像度は0.25°×0.25°です。
- 予測データ:データはムンバイ市（MCGM）が設置した自動気象観測所（AWS）から提供され、2006年から2023年（2014年を除く）の期間を15分ごとに記録しています。一部の観測所で測定データが欠落していたり、データが不連続であったりするため、2015年から2023年のモンスーンシーズン（6月から9月）の比較的完全なデータを持つ36の観測所のみが分析対象として選定されました。
入力データの品質を確保し、モデルの予測パフォーマンスを向上させるために、研究チームは欠損データの除去、変数のスクリーニング、空間マッチングの実行によってデータを処理しました。自動気象観測所からの生の観測データについては、研究チームはデータに著しい欠落がある地点を除外し、モンスーン期（6月～9月）に少なくとも5年間連続して完全な記録がある地点のみを保持しました。さらに、モデルデータ内の相関スクリーニングを用いて、降水量と強い相関を示す気象要因（可降水量、降水量、相対湿度、気温、気圧など）を予測変数として選定しました。
前処理の後、研究チームは GFS グリッド データを現場観測データと整合させ、畳み込みニューラル ネットワークと転移学習モデルのトレーニング サンプルとして「入力 - 出力」ペアを構築しました。
畳み込みニューラルネットワークと転移学習に基づく降雨予測
このモデルはGFSデータを入力として用い、観測降雨量と組み合わせます。まず、畳み込みニューラルネットワークを用いて粗解像度の予測を現場スケールにダウングレードし、次に転移学習を用いて極端な降雨予測を最適化します。最後に、現場比較を組み合わせることで、地域的な暴風雨の同期性を特定し、全体的な予測精度を向上させます。
イベント同期法に基づくルーヴァンクラスタリング
この研究では、異なる観測所の降雨時系列を比較することで地域の暴風雨を識別するイベント同期法を導入し、都市における極端な降雨の空間同期パターンを明らかにしました。この方法は、従来の線形相関分析と比較して、突然性が強く、非線形特性が明らかな極端な降雨状況を捉えるのに適しています。
研究チームは前処理済みのデータを入力した後、相関分析を用いて降雨量と最も関連性の高いGFS変数を選定した。観測期間中の各観測所における極端な降雨プロセスを「イベント」とみなし、観測所間のイベントの時間差と頻度を計算することで、時系列におけるそれらの同期性を評価しました。
研究者らは、観測所間のイベント同期マトリックスを出力した後、さらにルーヴァンアルゴリズムを使用して関係をクラスター化し、同様の降雨同期特性を持つ観測所を同じグループに分割しました。
畳み込みニューラルネットワークモデルのダウンスケーリング
クラスタリングが完了したら、研究チームは、畳み込みニューラル ネットワーク モデルに基づいて、低解像度の GFS データを段階的にサイト スケールに縮小しました。
研究者らはまず、降水量、湿度、気温、気圧など降雨量に最も関連する要因を保持しながら、GFS グリッド気象変数をスクリーニングしました。そして、4次元形式で畳み込みニューラル ネットワーク モデルに入力します。
本研究で使用した畳み込みニューラルネットワークは、畳み込み層と平坦化層に分かれています。畳み込み層は入力変数から空間的および時間的な特徴を抽出し、平坦化層はこれらの特徴をムンバイの自動気象観測所で測定された降雨量データと整合させ、入出力関係を構築します。畳み込みニューラルネットワークによって捕捉・抽出された局所的な特徴は、各観測所における日降雨量を直接予測するために出力され、粗解像度のGFSデータから細粒度の観測所レベルの降雨量への非線形ダウンコンバージョンを実現します。
言及する価値があるのは、研究者らは過剰適合を避けるために早期停止などの対策も導入した。
転移学習の微調整最適化
この研究では、研究チームは転移学習手法を導入し、モデルが一般的な降雨状況と極端な降雨事象の両方の特性を認識できるようにしました。このうち、基本的な畳み込み層は変更されずに、出力層に近い部分では、パラメータ更新によって計算コストの増大やサンプル不足の問題を回避し、モデルが極端なサンプルに過剰適合するのを防ぎます。
研究チームはまず、2015年から2023年までのムンバイ観測所の完全な降雨データに基づいて畳み込みニューラルネットワーク基本モデルを学習し、モデルが一般的な中強度および低強度の降雨を安定的に予測できることを確認しました。さらに、微調整段階では、95%または99%の四分位数を超える高強度の降雨サンプルを使用しました。モデルを極端なイベントの「学習に重点を置く」ようにし、極端なサンプルに対する感度を高めます。
時間と空間におけるモデル性能の検証
研究チームは、様々な統計指標と実世界の事例を用いて、このモデルのシステム性能を検証しました。その結果、この予測モデルは、従来の全球予測システム（GFS）や最適化されていない畳み込みニューラルネットワークモデルを多くの点で大幅に上回る性能を示すことが示されました。評価には、相関係数 (CC)、二乗平均平方根誤差 (RMSE)、誤報率 (FA) などの一般的な定量的指標が使用されます。
全体的な降雨予測のパフォーマンス
全体的な降雨量予測に関しては、転移学習モデルは GFS よりも優れたパフォーマンスを発揮します。畳み込みニューラルネットワークのダウンスケールにより、空間精度が大幅に向上しました。相関係数は概ね上昇し、平均二乗誤差（RMSE）は大幅に低下し、モデルと観測値のギャップが効果的に埋められました。転移学習の導入により、中強度から高強度の降雨量の予測においてモデルはより堅牢になり、過小評価が減少しました。全体として、転移学習は1～3日先の予測において他のモデルを上回り、特に2日先の予測において優れた性能を示しました。
極端な降雨量の予測では、転移学習によってモデルの極端なサンプルを識別する能力が強化されます。95%および99%分位のテストにおいて、転移学習モデルの時間予測精度はGFSよりも60%～400%高くなりました。1日目と2日目の予報では、ほとんどの暴風雨プロセスをより早く捉えることができ、誤報率を効果的に低減できます。
モデル地域パフォーマンスと実用化
本研究では、イベント同期と空間クラスタリング手法を用いて、ムンバイの異なる地域間で降雨予測を同期させるモデルの能力を検証しました。その結果、転移学習モデルは、単一地点予測において事前最適化モデルを上回る性能を示しただけでなく、地点間の空間クラスタリング特性も再現することが示されました。
インドは地方主権の大規模モデルを構築し、人工知能分野への参入を加速している
実際、モンスーン予測モデルなどのAI成果の応用に対する学界の注目に加えて、インド政府もAIの開発をリードしています。アシュウィニ・ヴァイシュナウ電子情報技術大臣は先日、国家プロジェクト「IndiaAIミッション」の立ち上げを発表しました。このミッションは、今後6～10ヶ月以内に複数のインド固有の基礎モデルの開発を完了することを目指しています。これらの大規模言語モデルは、インドの多言語・多文化環境を念頭に設計され、地域社会のニーズに合わせて最適化されます。この目的のため、インドは世界中から約18,600台のGPUを購入し、IndiaAIコンピューティング施設を設立しました。これにより、基礎的なコンピューティング能力の継続的な供給が確保されます。
同時に、インド政府は、独立かつ制御可能なコア技術を形成するために、インド初の「主権ビッグモデル」の構築を担う主要パートナーとして、地元のAI企業Sarvamも選定した。このモデルは、インド国内の複数の言語に対応し、推論能力と大規模なアプリケーションシナリオへの適応性を重視しています。将来的には、医療や政府関係など、複数の分野にサービスを提供できるようになるでしょう。
さらに、インド政府はAI Koshaデータプラットフォームを立ち上げました。これは、AIの学習に使用できる公開データと非機密データを一元的に管理、公開、共有することを目的としています。また、India AI Compute Facilityは、スタートアップ企業や研究チームに補助金付きのGPU使用権を提供します。欧米や東アジアに匹敵する研究開発環境を早期に構築したいと考えています。
IndiaAIミッションが進むにつれ、インドが徐々に世界的なAI競争の追随者から積極的な参加者へと変化していくことは容易に予測できます。
参考リンク:
1.https://timesofindia.indiatimes.com/technology/artificial-intelligence/government-selects-indian-ai-company-sarvam-to-develop-nations-first-sovereign-large-language-model/articleshow/120645896.cms
2.https://indiaai.gov.in/article/union-minister-of-electronics-it-railways-and-i-b-announces-the-availability-of-18-000-affordable-ai-compute-units
3.https://www.electronicsforyou.biz/industry-buzz/indiaai-mission-expands-to-18693-gpus-for-rd/