ブラックボックスが透明になる: UCLA が地滑りを予測する解釈可能なニューラル ネットワーク SNN を開発

1 年前

情報

科学のための AI

地滑り

自然災害

Yinrong Huang

特色图像

内容の概要:地滑りの予測は、複数の空間的および時間的要因が関係するため、常に非常に困難でした。ディープ ニューラル ネットワーク (DNN) は予測精度を向上させることができますが、本質的に解釈可能ではありません。この記事では、UCLA の研究者が SNN を紹介します。 SNN は、完全な解釈可能性、高精度、高い一般化能力、低いモデルの複雑さという特徴を備えており、地滑りの危険性の予測能力をさらに向上させます。

キーワード: 地滑り SNN DNN

この記事は、HyperAI Super Neural WeChat パブリック プラットフォームで初めて公開されました~

地滑りの発生は、地形、斜面、土壌、岩石、その他の材料特性、気候、降雨量、水文学、その他の環境条件などのさまざまな要因の影響を受けます。その結果、予測は常に困難でした。通常、地質学者は物理モデルと統計モデルを使用して、地滑りの危険性を推定します。これらのモデルはかなり正確な予測を提供できますが、物理モデルのトレーニングには多くの時間とリソースが必要であり、大規模なアプリケーションには適していません。

近年、研究者は地滑り予測のための機械学習モデル、特にディープ ニューラル ネットワーク (DNN) をトレーニングしています。 DNNは高精度な予測モデルとして、画像認識、音声認識、自然言語処理、計算生物学、金融ビッグデータなど多くの分野で顕著な効果を発揮しています。しかし、入力層と出力層の外側に複数の隠れた構造があり、解釈可能性に欠けるこのブラックボックス問題は常に研究者を悩ませてきました。

最近、カリフォルニア大学ロサンゼルス校 (UCLA) の研究者らは、重ね合わせ可能なニューラル ネットワーク (SNN) を開発しました。 DNN とは異なり、SNN はさまざまなデータ入力の結果を分離し、自然災害に影響を与える要因をより適切に分析できます。 SNN モデルは物理モデルや統計モデルよりも優れており、最先端の DNN と同様のパフォーマンスを実現します。現在、研究成果は「解釈可能なニューラルネットワークによる地すべり感受性モデリング」というタイトルで『Communications Earth & Environmental』誌に掲載されている。

図1：研究成果は『Communications Earth & Environmental』に掲載されました

論文全文を読む:

https://www.nature.com/articles/s43247-023-00806-5#Sec4

ヒマラヤ最東端の地滑りデータを選択する

研究者らはデータ分析を通じて、2004年から2016年にかけて土砂崩れによる死傷者がアジアに集中していることを発見した。ヒマラヤ山脈の最東端の地域は、急斜面の地滑り、極端な降水、洪水などが非常に起こりやすい地域です。  研究者らは、地滑り地域の手動描写と半自動検出アルゴリズムを組み合わせて、ヒマラヤ最東端の地滑り目録（地滑り事象の記録またはデータセット）を作成しました。4.19 × 109 m2 の調査エリア全体で、マッピングされた地滑りの総数は 2,289 件で、その範囲は 900 ～ 1.96 × 106 m2 でした。

図 2: ヒマラヤ最東端の調査地域

色は高度を表し、黄色のボックスは NS (ディバン)、北西-南東 (前線)、および EW (ロヒット) 方向の調査エリアを示します。

差し込み図はヒマラヤ東部地域を表し、黒いボックスは調査地域を示し、濃い灰色の線は国境 (右上隅) を示します。

上の図に示すように、研究者らは、SNN モデルのパフォーマンスとアプリケーションをテストするために、ヒマラヤ最東端の環境条件が異なる 3 つの地域 (ディバン、ロヒット、および射程前線) を選択しました。以下、ディバン、ロヒット、レンジフロントエリアをそれぞれNS、EW、NW-SEと呼びます。

データセットアドレス:

https://doi.org/10.25346/S6/D5QPUA

モデル開発: SNN をトレーニングするための 6 つのステップ

この研究では、精度を確保しながら DNN の解釈可能性の欠如を回避するために、研究者らはモデル抽出と特徴ベースの手法を組み合わせて、完全に解釈可能な加算的 ANN 最適化フレームワークを生成しました。 加算的 ANN は、一般化加算的モデル (GAM) の一種です。モデル抽出方法は、教師モデルを模倣するように解釈可能な学生モデルをトレーニングすることを目的としています。特徴ベースの手法は、各入力特徴の影響を分析して定量化することを目的としています。

研究者らは、この付加的な ANN アーキテクチャをスーパーポーザブル ニューラル ネットワーク (SNN) 最適化と呼んでいます。異なるレイヤー間の接続を通じてフィーチャ間の相互依存性を確立する DNN とは異なり、SNN は元の入力フィーチャの積関数を通じてフィーチャ間の相互依存性を確立します。2 つの比較を以下に示します。

図 3: 従来の DNN と SNN

x1、x2、…、xn は n 個の元の特徴のセットを表し、χ1、χ2、…、χM は M 個の結合された特徴のセットを表し、Y と St はそれぞれ DNN と SNN の感受率の結果を指します。

図 3 に示すように、従来の DNN では、ネットワーク内の接続を通じて特徴が表現され、学習されます。この依存関係はネットワーク構造にしっかりと組み込まれており、分離するのが困難です。SNN では、研究者が出力に寄与する特徴を事前に見つけて明示的に入力します。各ニューロンは 1 つの入力にのみ接続されます。

SNN トレーニングのフローチャートは次のとおりです。

図 4: トレーニング SNN のフローチャート

この図は、研究者らが特徴選択モデルと多段階トレーニングという 2 つの主な方法を使用したことを示しています。特徴選択モデルは、後続の分析とモデリングに最も関連する特徴を選択するために使用されます。多段階トレーニングとは、トレーニング プロセスが複数の段階に分割され、各段階に特定の目標とトレーニング戦略があり、モデルのパフォーマンスが段階的に最適化されることを意味します。

トレーニング プロセスは次の手順に要約できます。

  1. 多変量多項式展開:複合フィーチャを生成します。
  2. チャンピオンシップランキング（トーナメントランキング）：モデルに最も関連するフィーチャを見つけるための自動フィーチャ選択方法。
  3. マルチステージトレーニング (MST):高性能の教師ネットワークを生成するための 2 次深層学習技術。
  4. 部分的な知識の蒸留:最終出力に対する各機能の寄与を分離するために使用されます。
  5. 並行して知識を抽出:標準的な知識の抽出手法が、各機能に対応するネットワークに個別に適用されます。
  6. ネットワークの重ね合わせ:各機能に対応する単層ネットワークを SNN に結合します。

実験結果

SNNの最高精度は99%を超える  

モデルのトレーニングで使用される最高レベルの複合特徴に従って、研究者は SNN を 3 つの異なるレベルのモデル、つまりレベル 1、レベル 2、およびレベル 3 に分割しました。実験によると、レベル 3 SNN の精度は SOTA 教師 DNN の 99% 以上に達し、レベル 2 SNN の精度は 98% を超えることができます。両者の精度の差が小さいことを考慮して、研究者らは、レベル 2 SNN の解釈可能性が分析には十分であると仮説を立てました。

次に研究者らは、レベル 1 およびレベル 2 SNN を SOTA DNN 教師モデル (MST、2 次最適化に基づく DNN)、および従来の手法 (LogR および LR) と比較しました。すべての方法は同じ領域に同じデータを使用して適用され、結果は以下に示されています。

図5：各種モデルの性能比較

MST: SOTA DNN 教師モデル

ログR:  ロジスティック回帰 (従来の方法)

LR:  尤度比（従来の方法）

図に示すように、SNN モデルと MST モデルのパフォーマンスは、一般的に使用されている従来のモデルと同等であり、それよりも優れています。 3 つの調査領域の平均計算に基づくと、レベル 1 とレベル 2 の SNN の AUROC はそれぞれ 0.856 と 0.890 です。レベル 2 SNN の AUROC は、LogR (AUROC = 0.848) および LR (AUROC = 0.823) よりも約 8% 高くなります。

AUROC (受信機動作特性下の領域): 分類モデルを評価するために使用されるパフォーマンス指標。 AUROC が 1 に近づくほど、モデルのパフォーマンスは向上します。

SNN は完全に解釈可能です  

SNN は、線形回帰に匹敵するレベルの解釈可能性を備えた、完全に解釈可能なモデルです。

研究者らは調査地域を地滑り（ld）地域と非地滑り（nld）地域に分けた。 SNN は、地滑りの感受性に対する個々の特性の正確な寄与を提供し、地滑りの感受性に対する各特性の影響を定量化することを可能にします。ld 地域と nld 地域の個々の特性の違いを計算することにより、地滑りの主な制御要因とその相対的な寄与を決定できます。

以下の図に示すように、MAP*Slope (平均年間降水量と傾きの積)、NEE*Slope (極端な降雨イベントの数と傾きの積)、Asp*Relief (斜面のアスペクトと局地的な風力供給の積)、Asp (傾き)の側面）は、3 つすべての中で最も重要であり、各地域に大きな影響を与えました。

図 6: 地滑り感受性に対するさまざまな特性の影響

(a、d): NS 調査エリア、(b、e): 北西-南東調査エリア、(c、f): EW 調査エリア。

(a ～ c) の棒グラフは、地滑り (ld) 地域と非地滑り (nld) 地域における各地物の違いを降順に表しています。(d ～ f) の円グラフは、地滑りに対する各地物の影響を表しています。地滑り (ld) 地域と非地滑り (nld) 地域の平均影響。

平均年間降水量 (MAP)、極端な降雨イベントの数 (NEE)、傾斜角 (Asp)、標高 (Elev)、平均曲率 (CurvM)、河道までの距離 (DistC)、全断層 (DistF)、および主前線反転ドリフト破砕帯 (DistMFT)、および局所空気供給 (リリーフ)。

アスタリスク * は、2 つの特徴の代数乗算を示します。

SNN のユニークな機能により、研究者は、主要な制御特徴の空間分布とその局所的な影響を分離できます。

図 7: 各特徴の空間分布

ac: 主要な特徴の空間分布。

df: 感受性に対する気候と傾斜の影響。

(a、d): NS 調査エリア、(b、e): 北西-南東調査エリア、(c、f): EW 調査エリア。 

気候の影響が大きい場所は青で色付けされ、傾斜の影響が大きい場所は赤で色付けされます。

平均年間降水量 (MAP)、極度の降雨イベントの数 (NEE)、斜面の傾斜角 (Asp)、標高 (Elev)、平均曲率 (CurvM)、および局所的な風力供給 (Relief)。

アスタリスク * は、2 つの特徴の代数乗算を示します。

上図dfに示すように、NS、NW-SE、EWエリアでは、およそ 74%、54%、および 54% の地点はそれぞれ、傾斜よりも気候特性 (極端な降雨イベントの数、平均年間降水量、傾斜面など) の影響を大きく受けています。図では、青色のエリアが赤色のエリアよりも大きくなっています。 、ヒマラヤ最東端の地滑りを制御する上で気候特性が重要であることを示しています。ヒマラヤ山脈に沿って東に向かって降水量が徐々に増加するため、ヒマラヤ山脈東部では垂直方向の気候変動が顕著です。この気候勾配は、ヒマラヤ山脈東部の地滑りの起こりやすさに影響を与える可能性があります。

SNN コードの GitHub アドレス:

https://GitHub.com/geosnn/geosnn.git

SNN が地滑り予測の問題を突破

この研究の著者であるルイ・ブシャール氏とスルギ・ムーン氏はどちらもUCLAの准教授で、ハリド・ユセフ氏はUCLAで博士研究員の研究を行っており、ケビン・シャオ氏はUCLAの地球・惑星・宇宙科学の博士候補者である。

図 8: 左から右に、Louis Bouchard、Sulgi Moon、Khalid Youssef、Kevin Shao

ケビン・シャオが語る 「ディープ ニューラル ネットワーク (DNN) は、地滑りの正確な可能性を提供できますが、どの特定の変数が地滑りを引き起こすのか、またその理由を判断することはできません。」共同筆頭著者のハリド・ユセフ氏はこう指摘した 「問題は、DNN のさまざまなネットワーク層が学習プロセス中に常に相互作用するため、結果を明確に分析することが不可能であるということです。この研究では、さまざまなデータ入力の結果を明確に分離できるようにしたいと考えています。自然災害に影響を与える要因を判断するのに使用でき、最も重要な要因に関してより有用です。」

「死因を特定するために解剖を使用するのと同様に、地滑りの正確な引き金を特定するには、常に現場での測定と、降雨量や強度などの土壌、水文、気候条件に関する履歴記録が必要になります。これらは、次のような遠隔地では入手が困難です。しかし、SNN は重要な変数を特定し、地滑りの危険性への寄与を定量化することができます。」 スルギ・ムン教授は言いました。ルイ・ブシャールは言った 「トレーニングに強力なコンピューターサーバーを必要とする DNN とは異なり、SNN は Apple Watch 上で実行できるほど小さいです。」

研究者らは、カリフォルニアなど、世界の他の地滑りが発生しやすい地域にも研究を拡大する予定だ。頻繁に山火事や地震が発生し、地滑りの危険性が高まっているカリフォルニアでは、SNN は複数の信号を考慮し、他のさまざまな地表の危険を予測する早期警報システムの開発に役立ちます。

参考記事：

[1]https://phys.org/news/2023-06-geologists-artificial-intelligence-landslides.html

[2]https://newsroom.ucla.edu/releases/artificial-intelligence-can-predict-landslides

[3]https://www.bccn3.com/news/ucla-geologists-develop-ai-model-to-predict-landslides

[4]https://static-content.springer.com/esm/

art10.1038s43247-023-00806-5/MediaObjects/43247_2023_806_MOESM1_ESM.pdf

この記事は、HyperAI Super Neural WeChat パブリック プラットフォームで初めて公開されました~