HyperAI超神经

Inhalte im Überblick:Die Vorhersage von Erdrutschen war schon immer sehr schwierig, da zahlreiche zeitliche und räumliche Variationsfaktoren eine Rolle spielen. Tiefe neuronale Netzwerke (DNNs) können die Vorhersagegenauigkeit verbessern, sind jedoch nicht grundsätzlich interpretierbar. In diesem Artikel stellten UCLA-Forscher SNN vor. SNN zeichnet sich durch vollständige Interpretierbarkeit, hohe Genauigkeit, hohe Generalisierungsfähigkeit und geringe Modellkomplexität aus, was die Vorhersagefähigkeit des Erdrutschrisikos weiter verbessert.

Schlüsselwörter: Erdrutsch SNN DNN

Dieser Artikel wurde zuerst auf der öffentlichen HyperAI WeChat-Plattform veröffentlicht~

Das Auftreten von Erdrutschen wird durch eine Kombination von Faktoren beeinflusst, beispielsweise durch Materialeigenschaften wie Gelände, Hanglage, Boden, Gestein sowie Umweltbedingungen wie Klima, Niederschlag und Hydrologie. Aus diesem Grund waren relevante Vorhersagen schon immer sehr schwierig. Normalerweise verwenden Geologen physikalische und statistische Modelle, um das Erdrutschrisiko abzuschätzen.Obwohl diese Modelle ziemlich genaue Vorhersagen liefern können, erfordert das Trainieren physikalischer Modelle viel Zeit und Ressourcen und ist nicht für groß angelegte Anwendungen geeignet.

In den letzten Jahren haben Forscher Modelle des maschinellen Lernens, insbesondere tiefe neuronale Netzwerke (Deep Neural Networks, DNNs), trainiert, um Erdrutsche vorherzusagen. Als hochpräzises Vorhersagemodell hat DNN erhebliche Auswirkungen auf viele Bereiche wie Bilderkennung, Spracherkennung, Verarbeitung natürlicher Sprache, Computerbiologie und Big Data im Finanzbereich.Es verfügt jedoch über mehrere Schichten verborgener Strukturen außerhalb der Eingabe- und Ausgabeschicht und ist nicht interpretierbar. Dieses Blackbox-Problem bereitet Forschern schon immer Sorgen.

Kürzlich haben Forscher der University of California, Los Angeles (UCLA) ein überlagerbares neuronales Netzwerk (SNN) entwickelt. Anders als DNN kann SNN die Ergebnisse verschiedener Dateneingaben trennen und die Einflussfaktoren bei Naturkatastrophen besser analysieren. Das SNN-Modell übertrifft die physikalischen und statistischen Modelle und erreicht eine ähnliche Leistung wie die modernsten DNNs.Die Forschungsergebnisse wurden kürzlich in der Fachzeitschrift Communications Earth & Environment unter dem Titel „Landslide susceptibility modeling by interpretable neural network“ veröffentlicht.

Abbildung 1: Die Forschungsergebnisse wurden in Communications Earth & Environment veröffentlicht

Lesen Sie das vollständige Dokument:

https://www.nature.com/articles/s43247-023-00806-5#Sec4

Ausgewählte Erdrutschdaten aus dem östlichsten Himalaya

Durch Datenanalysen stellten die Forscher fest, dass die Zahl der Todesopfer durch Erdrutsche zwischen 2004 und 2016 vor allem in Asien zu verzeichnen war.Die östlichste Region des Himalaya ist besonders anfällig für Ereignisse wie Erdrutsche an steilen Hängen, extreme Niederschläge und Überschwemmungen. Die Forscher erstellten ein Inventar der Erdrutsche (eine Aufzeichnung oder einen Datensatz von Erdrutschereignissen) im östlichsten Teil des Himalaya, indem sie manuell abgegrenzte Erdrutschgebiete mit einem halbautomatischen Erkennungsalgorithmus kombinierten.Die Gesamtzahl der kartierten Erdrutsche betrug 2.289 und erstreckte sich über eine Fläche von 900 bis 1,96 × 106 m2, im gesamten Untersuchungsgebiet von 4,19 × 109 m2.

Abbildung 2: Untersuchungsgebiet im östlichsten Teil des Himalaya

Die Farben stellen die Höhe dar und das gelbe Kästchen zeigt das Untersuchungsgebiet in den Richtungen NS (Dibang), NW-SO (Gebirgsfront) und EW (Lohit) an.

Der Einschub zeigt den östlichen Himalaya, der schwarze Kasten kennzeichnet das Untersuchungsgebiet und die dunkelgraue Linie zeigt die Landesgrenze (obere rechte Ecke).

Wie in der Abbildung oben gezeigt, wählten die Forscher drei Gebiete mit unterschiedlichen Umweltbedingungen (Dibang, Lohit und Gebirgsfront) im östlichsten Teil des Himalaya aus, um die Leistung und Anwendung des SNN-Modells zu testen.Im Folgenden werden die Gebiete Dibang, Lohit und Gebirgsfronten jeweils als NS, EW und NW-SE bezeichnet.

Datensatzadresse:

https://doi.org/10.25346/S6/D5QPUA

Modellentwicklung: 6 Schritte zum Trainieren eines SNN

Um die mangelnde Interpretierbarkeit von DNN zu umgehen und gleichzeitig die Genauigkeit sicherzustellen, kombinierten die Forscher in dieser Studie Modellextraktion und merkmalsbasierte Methoden, um ein vollständig interpretierbares additives ANN-Optimierungsframework zu erstellen. Additive neuronale Netzwerke sind eine Art verallgemeinerter additiver Modelle (GAM). Methoden zur Modellextraktion zielen darauf ab, ein interpretierbares Schülermodell zu trainieren, um das Lehrermodell zu imitieren. Merkmalsbasierte Methoden zielen darauf ab, die Auswirkungen jedes Eingabemerkmals zu analysieren und zu quantifizieren.

Die Forscher nennen diese additive ANN-Architektur Superposable Neural Network (SNN-Optimierung).Anders als DNN, das die gegenseitige Abhängigkeit zwischen Features durch Verbindungen zwischen verschiedenen Schichten herstellt, stellt SNN die gegenseitige Abhängigkeit zwischen Features durch die Produktfunktion der ursprünglichen Eingabe-Features her.Der Vergleich zwischen den beiden ist in der folgenden Abbildung dargestellt:

Abbildung 3: Traditionelles DNN vs. SNN

x1, x2, …, xn bezeichnet einen Satz von n ursprünglichen Merkmalen, χ1, χ2, …, χM bezeichnet einen Satz von M kombinierten Merkmalen und Y und St beziehen sich auf die Suszeptibilitätsergebnisse in DNN bzw. SNN.

Wie in Abbildung 3 dargestellt, werden in herkömmlichen DNNs Funktionen durch Verbindungen im Netzwerk dargestellt und erlernt. Diese Abhängigkeit ist fest in die Netzwerkstruktur eingebettet, die sehr komplex und schwer zu trennen ist.In SNNs ermitteln und ordnen Forscher Merkmale, die zur Ausgabe beitragen, im Voraus explizit separaten Eingaben zu, und jedes Neuron ist nur mit einer Eingabe verbunden.

Das Flussdiagramm des SNN-Trainings sieht wie folgt aus:

Abbildung 4: Flussdiagramm des Trainings-SNN

Wie in der Abbildung gezeigt, haben die Forscher zwei Hauptmethoden angewendet: das Merkmalsauswahlmodell und das mehrstufige Training.Das Merkmalsauswahlmodell wird verwendet, um die relevantesten Merkmale für die nachfolgende Analyse und Modellierung auszuwählen. Mehrstufiges Training bedeutet, dass der Trainingsprozess in mehrere Phasen unterteilt ist, jede Phase spezifische Ziele und Trainingsstrategien hat und die Modellleistung schrittweise optimiert.

Der Trainingsprozess kann in den folgenden Schritten zusammengefasst werden:

Multivariate Polynomentwicklung:Erstellen Sie zusammengesetzte Features.
Turnierrangliste:Eine Methode zur automatischen Merkmalsauswahl zum Auffinden der für das Modell relevantesten Merkmale.
Mehrstufiges Training (MST):Eine Deep-Learning-Technik zweiter Ordnung zur Generierung leistungsstarker Lehrernetzwerke.
Fraktionierte Wissensdestillation:Wird verwendet, um den Beitrag jedes Features zur endgültigen Ausgabe zu trennen.
Parallele Wissensdestillation:Auf das Netzwerk werden für jedes Merkmal einzeln standardmäßige Wissensdestillationstechniken angewendet.
Netzwerküberlagerung:Die den einzelnen Merkmalen entsprechenden einschichtigen Netzwerke werden zu einem SNN zusammengeführt.

Experimentelle Ergebnisse

SNN höchste Genauigkeit übersteigt 99%

Basierend auf den zusammengesetzten Merkmalen der höchsten Ebene, die beim Modelltraining verwendet wurden, unterteilten die Forscher SNN in drei verschiedene Modellebenen, nämlich Ebene 1, Ebene 2 und Ebene 3.Experimente zeigen, dass die Genauigkeit von Level-3-SNN mehr als 99% von SOTA-Lehrer-DNN erreichen kann und die Genauigkeit von Level-2-SNN 98% übersteigt.Angesichts des geringen Genauigkeitsunterschieds zwischen beiden gehen die Forscher davon aus, dass die Interpretierbarkeit des Level-2-SNN für die Analyse ausreicht.

Als nächstes verglichen die Forscher Level-1- und Level-2-SNNs mit dem SOTA-DNN-Lehrermodell (MST, DNN basierend auf Optimierung zweiter Ordnung) sowie traditionellen Methoden (LogR und LR).Alle Methoden wurden auf denselben Bereich und unter Verwendung derselben Daten angewendet. Die Ergebnisse sind in der folgenden Abbildung dargestellt.

Abbildung 5: Leistungsvergleich verschiedener Modelle

MST: SOTA DNN-Lehrermodell

LogR: Logistische Regression (traditionelle Methode)

LR: Likelihood-Ratio (traditionelle Methode)

Wie in der Abbildung gezeigt, ist die Leistung von SNN mit der des MST-Modells vergleichbar und übertrifft die üblicherweise verwendeten herkömmlichen Modelle. Die Durchschnittswerte der drei Untersuchungsgebiete wurden berechnet und die AUROCs der SNNs der Stufe 1 und der Stufe 2 betrugen 0,856 bzw. 0,890. Der AUROC von Level-2-SNN ist etwa 8% höher als der von LogR (AUROC = 0,848) und LR (AUROC = 0,823).

AUROC (Bereich unterhalb der Receiver-Operating-Characteristic): Eine Leistungsmetrik zur Bewertung von Klassifizierungsmodellen. Je näher der AUROC bei 1 liegt, desto besser ist die Modellleistung.

SNNs sind vollständig interpretierbar

SNN ist ein vollständig interpretierbares Modell mit einem Interpretierbarkeitsgrad, der mit der linearen Regression vergleichbar ist.

Die Forscher teilten das Untersuchungsgebiet in Erdrutschgebiete (ld) und Gebiete ohne Erdrutsche (nld) ein. SNN liefert den genauen Beitrag einzelner Merkmale zur Anfälligkeit und ermöglicht so die Quantifizierung der Auswirkungen jedes Merkmals auf die Anfälligkeit für Erdrutsche.Durch Berechnung der Unterschiede in den individuellen Merkmalen zwischen den ld- und nld-Regionen können die wichtigsten bestimmenden Faktoren des Erdrutschs und ihre relativen Beiträge ermittelt werden.

Wie in der Abbildung unten gezeigt,MAP*Slope (das Produkt aus durchschnittlichem Jahresniederschlag und Gefälle), NEE*Slope (das Produkt aus der Anzahl extremer Regenfälle und dem Gefälle), Asp*Relief (das Produkt aus Ausrichtung und lokaler Windzufuhr) und Asp (Ausrichtung) haben in allen drei Regionen große Auswirkungen.

Abbildung 6: Einfluss verschiedener Merkmale auf die Erdrutschgefährdung

(a, d): NS-Untersuchungsgebiet; (b, e): NW-SO-Untersuchungsgebiet; (c, f): EW-Untersuchungsgebiet.

Die Balkendiagramme in (a–c) stellen den Größenunterschied jedes Merkmals zwischen Erdrutschgebieten (ld) und Nicht-Erdrutschgebieten (nld) in absteigender Reihenfolge dar; Die Kreisdiagramme in (d–f) stellen die durchschnittliche Auswirkung jedes Merkmals auf Erdrutsch- (ld) und Nicht-Erdrutschgebiete (nld) dar.

Mittlerer jährlicher Niederschlag (MAP), Anzahl extremer Regenfälle (NEE), Ausrichtung (Asp), Höhe (Elev), mittlere Krümmung (CurvM), Entfernung zum Flussbett (DistC), alle Verwerfungen (DistF) und wichtigsten frontalen Überschiebungs- und Bruchzonen (DistMFT) sowie lokales Relief (Relief).

Das Sternchen * kennzeichnet die algebraische Multiplikation zweier Merkmale.

Aufgrund der einzigartigen Fähigkeiten von SNN,Den Forschern gelang es, die räumliche Verteilung der wichtigsten Kontrollmerkmale und ihre lokalen Auswirkungen zu isolieren.

Abbildung 7: Räumliche Verteilung der einzelnen Merkmale

ac: räumliche Verteilung der Hauptmerkmale.

df: Auswirkungen von Klima und Hanglage auf die Anfälligkeit.

(a, d): NS-Untersuchungsgebiet; (b, e): NW-SO-Untersuchungsgebiet; (c, f): EW-Untersuchungsgebiet.

Gebiete mit größerem Klimaeinfluss sind blau und Gebiete mit größerem Hangeinfluss sind rot.

Mittlerer Jahresniederschlag (MAP), Anzahl extremer Regenfälle (NEE), Ausrichtung (Asp), Höhe (Elev), mittlere Krümmung (CurvM), lokales Relief (Relief).

Das Sternchen * kennzeichnet die algebraische Multiplikation zweier Merkmale.

Wie in Abbildung df oben gezeigt, in den Regionen NS, NW-SE und EW,Die Standorte von etwa 74%, 54% und 54% werden jeweils stärker von klimatischen Eigenschaften (wie Anzahl extremer Regenfälle, durchschnittlicher Jahresniederschlag und Ausrichtung) als von der Hangneigung beeinflusst, wie die größere blaue Fläche im Vergleich zur roten Fläche zeigt, was auf die Bedeutung klimatischer Eigenschaften bei der Kontrolle von Erdrutschen im östlichsten Teil des Himalaya hinweist.Da die Niederschlagsmengen in Richtung Osten entlang des Himalaya allmählich zunehmen, kommt es im östlichen Himalaya zu erheblichen vertikalen Klimaänderungen. Dieser Klimagradient beeinflusst wahrscheinlich die Anfälligkeit für Erdrutsche im östlichen Himalaya.

SNN-Code GitHub-Adresse:

https://GitHub.com/geosnn/geosnn.git

SNN meistert die Herausforderungen der Erdrutschvorhersage

Die Autoren der Studie, Louis Bouchard und Seulgi Moon, sind beide außerordentliche Professoren an der UCLA, Khalid Youssef ist Postdoktorand an der UCLA und Kevin Shao ist Doktorand der Erd-, Planeten- und Weltraumwissenschaften an der UCLA.

Abbildung 8: Von links nach rechts: Louis Bouchard, Seulgi Moon, Khalid Youssef, Kevin Shao

Kevin Shao sprach über „Tiefe neuronale Netzwerke (DNNs) können zwar genaue Schätzungen der Wahrscheinlichkeit von Erdrutschen liefern, sie können jedoch nicht bestimmen, welche spezifischen Variablen Erdrutsche verursachen und warum.“Co-Erstautor Khalid Youssef sagte Das Problem besteht darin, dass sich die verschiedenen Schichten eines DNN während des Lernprozesses ständig gegenseitig beeinflussen, sodass eine klare Analyse ihrer Ergebnisse unmöglich ist. Ziel dieser Forschung ist es, die Ergebnisse verschiedener Dateneingaben klar zu trennen und so die wichtigsten Einflussfaktoren auf Naturkatastrophen besser zu bestimmen.

Ähnlich wie bei einer Autopsie zur Feststellung der Todesursache erfordert die Identifizierung des genauen Auslösers eines Erdrutsches stets Feldmessungen und historische Aufzeichnungen der Boden-, hydrologischen und klimatischen Bedingungen, wie beispielsweise Niederschlagsmenge und -intensität, die in abgelegenen Gebieten wie dem Himalaya nur schwer zu erhalten sind. SNNs können jedoch Schlüsselvariablen identifizieren und ihren Beitrag zur Erdrutschanfälligkeit quantifizieren. Sagte Professor Seulgi Moon. Louis Bouchard sagte „Im Gegensatz zu DNNs, die zum Trainieren leistungsstarke Computerserver benötigen, sind SNNs klein genug, um auf einer Apple Watch zu laufen.“

Die Forscher planen, ihre Arbeit auf andere erdrutschgefährdete Gebiete der Welt auszuweiten, beispielsweise Kalifornien.In Kalifornien, wo häufige Waldbrände und Erdbeben das Risiko von Erdrutschen erhöht haben, könnten SNNs zur Entwicklung von Frühwarnsystemen beitragen, die mehrere Signale berücksichtigen und eine Reihe anderer Gefahren an der Oberfläche vorhersagen.

Referenzartikel:

[1]https://phys.org/news/2023-06-geologists-artificial-intelligence-landslides.html

[2]https://newsroom.ucla.edu/releases/artificial-intelligence-can-predict-landslides

[3]https://www.bccn3.com/news/ucla-geologists-develop-ai-model-to-predict-landslides

[4]https://static-content.springer.com/esm/

art10.1038s43247-023-00806-5/MediaObjects/43247_2023_806_MOESM1_ESM.pdf