HyperAI超神经

내용을 한눈에 보기:산사태 예측은 여러 시간적, 공간적 변화 요인이 관련되어 있기 때문에 항상 매우 어렵습니다. 심층 신경망(DNN)은 예측 정확도를 향상시킬 수 있지만, 본질적으로 해석 가능하지는 않습니다. 이 논문에서 UCLA 연구진은 SNN을 소개했습니다. SNN은 완전한 해석 가능성, 높은 정확도, 높은 일반화 능력, 낮은 모델 복잡도의 특징을 가지고 있어 산사태 위험 예측 능력을 더욱 향상시킵니다.

키워드： 산사태 SNN DNN

본 기사는 HyperAI WeChat 공개 플랫폼에 처음 게재되었습니다~

산사태 발생은 지형, 경사, 토양, 암석과 같은 물질적 특성과 기후, 강우량, 수문학과 같은 환경적 조건 등 여러 요인의 조합에 의해 영향을 받습니다. 그러므로 관련 예측은 항상 매우 어려웠습니다. 일반적으로 지질학자들은 물리적, 통계적 모델을 사용하여 산사태 위험을 추정합니다.이러한 모델은 상당히 정확한 예측을 제공할 수 있지만, 물리적 모델을 훈련하는 데 많은 시간과 리소스가 필요하며 대규모 애플리케이션에는 적합하지 않습니다.

최근 몇 년 동안 연구자들은 산사태를 예측하기 위해 기계 학습 모델, 특히 딥 뉴럴 네트워크(DNN)를 훈련해 왔습니다. DNN은 고정밀 예측 모델로서 이미지 인식, 음성 인식, 자연어 처리, 계산 생물학, 금융 빅데이터 등 여러 분야에 상당한 영향을 미칩니다.하지만 입력 계층과 출력 계층 외부에 여러 겹의 숨겨진 구조가 있어 해석 가능성이 부족합니다. 이 블랙박스 문제는 항상 연구자들을 괴롭혀 왔습니다.

최근 캘리포니아 대학교 로스앤젤레스(UCLA)의 연구진은 중첩 신경망(SNN)을 개발했습니다. DNN과 달리 SNN은 다양한 데이터 입력의 결과를 분리하고 자연 재해에 영향을 미치는 요인을 더 잘 분석할 수 있습니다. SNN 모델은 물리적 모델과 통계적 모델보다 성능이 뛰어나고 최신 DNN과 유사한 성능을 달성합니다.현재, 해당 연구 결과는 "해석 가능한 신경망을 이용한 산사태 취약성 모델링"이라는 제목으로 커뮤니케이션 지구 및 환경 저널에 게재되었습니다.

그림 1: 연구 결과는 Communications Earth & Environment에 게재되었습니다.

전체 논문을 읽어보세요:

https://www.nature.com/articles/s43247-023-00806-5#Sec4

동쪽 끝 히말라야의 선택된 산사태 데이터

연구자들은 데이터 분석을 통해 2004년부터 2016년까지 산사태로 인한 사상자가 주로 아시아에서 발생했다는 사실을 발견했습니다.히말라야 산맥의 가장 동쪽 지역은 가파른 경사면의 산사태, 극심한 강수량, 홍수 및 기타 사건이 발생하기 쉽습니다. 연구진은 수동으로 구분한 산사태 지역과 반자동 감지 알고리즘을 결합하여 동쪽에 위치한 히말라야의 산사태 목록(산사태 사건에 대한 기록 또는 데이터 세트)을 생성했습니다.조사 대상 지역인 4.19×109m2 전체에서 산사태 발생 건수는 총 2,289건으로 면적은 900~1.96×106m2에 이릅니다.

그림 2: 히말라야 산맥 동쪽 끝 부분의 연구 지역

색상은 고도를 나타내며, 노란색 상자는 NS(디방), NW-SE(산악 전선), EW(로히트) 방향의 연구 지역을 나타냅니다.

삽입된 그림은 동부 히말라야를 보여주고, 검은색 상자는 연구 지역을 나타내며, 짙은 회색 선은 국경(오른쪽 상단 모서리)을 나타냅니다.

위 그림에서 보듯이, 연구진은 히말라야 동쪽 끝 지역에서 서로 다른 환경 조건(디방, 로히트, 산맥 전선)을 가진 세 지역을 선택하여 SNN 모델의 성능과 적용성을 시험했습니다.이하 디방, 로히트 및 범위 전선 지역은 각각 NS, EW 및 NW-SE로 지칭합니다.

데이터 세트 주소:

https://doi.org/10.25346/S6/D5QPUA

모델 개발: SNN을 훈련하는 6단계

이 연구에서 연구진은 DNN의 해석 불가능성을 해결하고 정확성을 보장하기 위해 모델 추출과 기능 기반 방법을 결합하여 완전히 해석 가능한 가산 ANN 최적화 프레임워크를 생성했습니다. 가산 ANN은 일반화 가산 모델(GAM)의 한 유형입니다. 모델 추출 방법은 교사 모델을 모방하여 해석 가능한 학생 모델을 훈련하는 것을 목표로 합니다. 특징 기반 방법은 각 입력 특징의 영향을 분석하고 정량화하는 것을 목표로 합니다.

연구자들은 이 첨가적 ANN 아키텍처를 Superposable Neural Network(SNN) 최적화라고 부릅니다.서로 다른 계층 간의 연결을 통해 특징 간의 상호 의존성을 확립하는 DNN과 달리, SNN은 원래 입력 특징의 곱 함수를 통해 특징 간의 상호 의존성을 확립합니다.두 가지를 비교한 내용은 아래 그림과 같습니다.

그림 3: 기존 DNN 대 SNN

x1, x2, …, xn은 n개의 원래 특징 집합을 나타내고, χ1, χ2, …, χM은 M개의 결합된 특징 집합을 나타내고, Y와 St는 각각 DNN과 SNN의 민감도 결과를 나타냅니다.

그림 3에서 보듯이, 기존 DNN에서는 네트워크의 연결을 통해 특징이 표현되고 학습됩니다. 이러한 종속성은 네트워크 구조에 밀접하게 내재되어 있어 매우 복잡하고 분리하기 어렵습니다.SNN에서 연구자들은 출력에 기여할 특징을 찾아 미리 별도의 입력에 명시적으로 할당하고, 각 뉴런은 하나의 입력에만 연결됩니다.

SNN 학습 흐름도는 다음과 같습니다.

그림 4: SNN 학습 흐름도

그림에서 보듯이, 연구자들은 특징 선택 모델과 다단계 학습이라는 두 가지 주요 방법을 채택했습니다.특징 선택 모델은 후속 분석 및 모델링을 위해 가장 관련성 있는 특징을 선택하는 데 사용됩니다. 다단계 학습은 학습 과정이 여러 단계로 나뉘며, 각 단계마다 구체적인 목표와 학습 전략이 있으며, 점진적으로 모델 성능을 최적화한다는 의미입니다.

훈련 과정은 다음 단계로 요약할 수 있습니다.

다변수 다항식 확장:복합 피처를 생성합니다.
토너먼트 순위:모델과 가장 관련성이 높은 기능을 찾기 위한 자동 기능 선택 방법입니다.
다단계 훈련(MST):고성능 교사 네트워크를 생성하기 위한 2차 딥러닝 기술.
부분적 지식 증류:최종 출력에 대한 각 기능의 기여도를 구분하는 데 사용됩니다.
병렬 지식 증류:표준 지식 증류 기술은 각 기능에 해당하는 네트워크에 개별적으로 적용됩니다.
네트워크 중첩:각 특징에 해당하는 단일 계층 네트워크는 하나의 SNN으로 병합됩니다.

실험 결과

SNN 최고 정확도 99% 초과

연구자들은 모델 학습에 사용된 가장 높은 수준의 합성 특징을 기반으로 SNN을 레벨 1, 레벨 2, 레벨 3의 세 가지 레벨의 모델로 구분했습니다.실험 결과, 레벨 3 SNN의 정확도는 SOTA 교사 DNN의 99%보다 높았고, 레벨 2 SNN의 정확도는 98%를 넘어섰습니다.두 가지의 정확도 차이가 미미하므로, 연구자들은 레벨 2 SNN의 해석 가능성이 분석에 충분하다고 추정합니다.

다음으로, 연구자들은 레벨 1 및 레벨 2 SNN을 SOTA DNN 교사 모델(MST, 2차 최적화 기반 DNN)과 기존 방법(LogR 및 LR)과 비교했습니다.모든 방법은 동일한 지역과 동일한 데이터를 사용하여 적용되었으며, 그 결과는 아래 그림에 나타나 있습니다.

그림 5: 다양한 모델의 성능 비교

MST: SOTA DNN 교사 모델

로그R: 로지스틱 회귀(전통적 방법)

LR: 우도비(전통적 방법)

그림에서 보듯이 SNN의 성능은 MST 모델과 비슷하며, 일반적으로 사용되는 기존 모델보다 더 뛰어납니다. 3개 연구 지역의 평균값을 계산한 결과, 레벨 1과 레벨 2 SNN의 AUROC는 각각 0.856과 0.890이었습니다. 레벨 2 SNN의 AUROC는 LogR(AUROC = 0.848) 및 LR(AUROC = 0.823)보다 약 8% 더 높습니다.

AUROC(수신기 작동 특성 아래의 면적): 분류 모델을 평가하는 데 사용되는 성능 지표. AUROC가 1에 가까울수록 모델 성능이 우수합니다.

SNN은 완전히 해석 가능합니다.

SNN은 선형 회귀와 비슷한 수준의 해석성을 갖춘 완전히 해석 가능한 모델입니다.

연구자들은 연구 지역을 산사태(ld) 지역과 산사태가 발생하지 않는 지역(nld)으로 나누었습니다. SNN은 산사태 취약성에 대한 개별 특징의 정확한 기여도를 제공하여 각 특징이 산사태 취약성에 미치는 영향을 정량화하는 것이 가능합니다.ld와 nld 지역 간의 개별 특성 차이를 계산함으로써 산사태의 주요 제어 요인과 그 상대적 기여도를 결정할 수 있습니다.

아래 그림과 같이,MAP*Slope(연평균 강수량과 기울기의 곱), NEE*Slope(극한 강수 사상의 수와 기울기의 곱), Asp*Relief(방위와 지역 공급풍의 곱), Asp(방위)는 세 지역 모두에서 큰 영향을 미칩니다.

그림 6: 산사태 취약성에 대한 다양한 특성의 영향

(a, d): NS 연구 지역; (b, e): NW-SE 연구 지역; (c, f): EW 연구 지역.

(a-c)의 막대 그래프는 산사태(ld) 지역과 비산사태(nld) 지역 간 각 특징의 크기 차이를 내림차순으로 나타냅니다. (d-f)의 원형 차트는 산사태(ld) 지역과 비산사태(nld) 지역에 대한 각 특징의 평균적인 영향을 나타냅니다.

연평균 강수량(MAP), 극한 강수 사상 수(NEE), 방위(Asp), 고도(Elev), 평균 곡률(CurvM), 하천 수로까지의 거리(DistC), 모든 단층(DistF) 및 주요 전선 역압대와 단층대(DistMFT), 국지적 기복(Relief).

별표(*)는 두 특성의 대수적 곱셈을 나타냅니다.

SNN의 독특한 기능으로 인해연구자들은 주요 제어 특성의 공간적 분포와 그 지역적 효과를 분리할 수 있었습니다.

그림 7: 각 기능의 공간 분포

ac: 주요 특징의 공간적 분포.

df: 기후와 경사가 민감성에 미치는 영향.

(a, d): NS 연구 지역; (b, e): NW-SE 연구 지역; (c, f): EW 연구 지역.

기후의 영향이 큰 지역은 파란색이고, 경사의 영향이 큰 지역은 빨간색입니다.

연평균 강수량(MAP), 극한 강수 사상의 수(NEE), 방위(Asp), 고도(Elev), 평균 곡률(CurvM), 국지 기복(Relief).

별표(*)는 두 특성의 대수적 곱셈을 나타냅니다.

위 그림 df에서 볼 수 있듯이 NS, NW-SE 및 EW 지역에서는각각 약 74%, 54% 및 54%의 위치는 경사도보다는 기후적 특성(극한 강우 사건의 수, 연평균 강수량 및 방향 등)에 더 큰 영향을 받는데, 이는 빨간색 영역보다 파란색 영역이 더 큰 것으로 나타나 동쪽에 위치한 히말라야에서 산사태를 제어하는 데 있어 기후적 특성이 중요하다는 것을 보여줍니다.강수량이 히말라야 산맥을 따라 동쪽으로 점차 증가함에 따라 히말라야 동부에서는 수직적 기후 변화가 심각해집니다. 이러한 기후 기울기는 히말라야 동부 지역의 산사태 발생 가능성에 영향을 미칠 가능성이 높습니다.

SNN 코드 GitHub 주소:

https://GitHub.com/geosnn/geosnn.git

SNN, 산사태 예측 과제 돌파

이 연구의 저자인 루이스 부샤르와 슬기 문은 둘 다 UCLA의 준교수이고, 칼리드 유세프는 UCLA의 박사후 연구원이며, 케빈 샤오는 UCLA에서 지구, 행성 및 우주 과학 분야의 박사 과정 학생입니다.

그림 8: 왼쪽부터 오른쪽으로: 루이 부샤르, 문슬기, 칼리드 유세프, 케빈 샤오

Kevin Shao가 말했습니다 "심층 신경망(DNN)은 산사태 발생 가능성을 정확하게 추정할 수 있지만, 어떤 특정 변수가 산사태를 일으키는지, 그리고 그 이유는 무엇인지 판단할 수 없습니다."공동 첫 번째 저자인 Khalid Youssef는 다음과 같이 말했습니다. 문제는 DNN의 여러 계층이 학습 과정에서 끊임없이 서로 영향을 미치기 때문에 그 결과를 명확하게 분석하는 것이 불가능하다는 것입니다. 이 연구는 다양한 데이터 입력의 결과를 명확하게 구분하여 자연 재해에 가장 중요한 영향을 미치는 요인을 파악하는 데 더욱 유용할 것으로 기대합니다.

부검을 통해 사망 원인을 규명하는 것과 마찬가지로, 산사태의 정확한 원인을 파악하려면 현장 측정과 토양, 수문학적, 기후적 조건(강우량 및 강도 등)에 대한 과거 기록이 항상 필요한데, 이는 히말라야와 같은 외딴 지역에서는 얻기 어렵습니다. 그러나 SNN은 주요 변수를 파악하고 산사태 취약성에 미치는 영향을 정량화할 수 있습니다. 문슬기 교수가 말했다. 루이 부샤르는 말했다 "강력한 컴퓨터 서버를 이용해서 학습해야 하는 DNN과 달리, SNN은 Apple Watch에서 실행할 수 있을 만큼 작습니다."

연구진은 캘리포니아 등 산사태가 자주 발생하는 다른 지역으로 연구 범위를 확대할 계획이다.캘리포니아에서는 산불과 지진이 잦아 산사태 위험이 높아지고 있는데, SNN은 여러 신호를 고려하고 다양한 표면 위험을 예측하는 조기 경보 시스템을 개발하는 데 도움이 될 수 있습니다.

참고문헌:

[1]https://phys.org/news/2023-06-지질학자-인공지능-산사태.html

[2]https://newsroom.ucla.edu/releases/artificial-intelligence-can-predict-landsslides

[3]https://www.bccn3.com/news/ucla-geologists-develop-ai-model-to-predict-landslides

[4]https://static-content.springer.com/esm/

art10.1038s43247-023-00806-5/MediaObjects/43247_2023_806_MOESM1_ESM.pdf