전이 학습이 정말 도움이 됩니다! 청두이공대학, 산사태 지도 작성 위한 SCDUNet++ 모델 구축

산사태는 가장 흔한 자연재해 중 하나로, 주로 지진과 강우로 인해 발생하며 심각한 재산 손실과 사상자를 발생시킵니다. 지진으로 인해 발생하는 산사태로 인한 피해는 지진 자체로 인한 피해보다 더 심각할 때가 있습니다. 대규모 지진 발생 후, 신속하고 정확한 산사태 매핑(LM)은 긴급 구조, 시기적절한 정량적 재난 평가, 재난 후 재건에 매우 중요합니다.

최근 몇 년 동안 원격 감지 이미지에서 자동으로 산사태 지도를 그리는 방법에 대한 많은 연구가 진행되었습니다. 그러나 산사태의 특성과 규모에 큰 차이가 있고 광학적 원격탐사 영상의 유사성으로 인해 기존 방법은 산사태를 정확하게 매핑하는 데 다양한 어려움에 직면합니다.

이를 위해,청두 이공대학 연구진은 SCDUNet++라는 의미 분할 모델을 제안했습니다. 이는 합성곱 신경망(CNN)과 Transformer의 장점을 결합하여 산사태 특징의 인식 및 추출을 향상시킵니다. FCN, DeepLabv3+, Segformer 등 다른 8개 딥러닝 모델보다 성능이 우수하며, IoU는 1.91% 증가해 24.42%가 되고, F1은 1.26% 증가해 18.54%가 됩니다.이 연구 결과는 국제 응용 지구 관측 및 지리 정보 저널에 게재되었습니다. 참고: IoU는 예측 영역과 실제 영역이 겹치는 부분을 측정하는 교차 합집합 비율입니다. F1은 모델의 정확도와 완전성을 측정하는 정밀도와 재현율의 조화 평균입니다.

연구 하이라이트:
* 다중 채널 데이터의 의미 분할 모델을 사용하여 산사태 지도 그리기

* 지형 및 분광 지수 인자를 이용한 산사태 지도 작성 개선

* 심층 전이 학습 후 데이터가 부족한 지역에서 모델의 성능이 크게 향상되었습니다.

* 제안된 모델은 그리기와 전환성 측면에서 다른 모델보다 성능이 뛰어납니다.

서류 주소: 

https://doi.org/10.1016/j.jag.2023.103612 데이터세트 원클릭 다운로드:

https://hyper.ai/datasets/29647
공식 계정을 팔로우하고 "Landslide"라고 답글을 달면 전체 PDF를 받을 수 있습니다.

실험 과정: SCDUNet++ 모델 구축

데이터세트: 루딩(Luding) 및 구채구(Jiuzhaigou) 지진 데이터

2022년 규모 6.8의 루딩 지진과 2017년 규모 7.0의 주자이거우 지진은 모두 심각한 산사태 재해를 일으켰기 때문에 연구진은 이 두 지역을 실험 연구 대상으로 선택했습니다.

데이터 세트는 세 부분으로 구성되어 있으며, HDF5 형식으로 통합되어 저장됩니다.

Sentinel-2 다중 스펙트럼 데이터:루딩 지역의 데이터는 2022년 3월 15일과 2022년 11월 25일의 것이고, 주자이거우의 데이터는 2017년 7월 29일과 2017년 9월 7일의 것입니다.

NASADEM(디지털 표고 모델) 데이터:NASADEM 공식 웹사이트에서 데이터를 다운로드하여 경사, 방위, 곡률, 산 그늘, 지형 습도 지수(TWI) 등의 데이터를 얻으세요.

산사태 목록:센티넬-2 광학 원격 감지 이미지와 구글 어스 이미지를 결합하고 전문가들이 직접 주석을 달았습니다.

모델 아키텍처: 3가지 주요 모듈

다음 그림은 구성된 SCDUNet++ 모델의 전체 아키텍처를 보여줍니다.

GLFE(Global Local Feature Extraction) 모듈: 그림 b에서 보듯이 GLFE 모듈은 얕은 CNN 구조와 깊은 Swin Transformer 구조를 결합하여 산사태 이미지 특징 추출 및 분류 문제를 효과적으로 처리합니다.

DSSA(상세 공간 스펙트럼 집계) 모듈: GLFE 모듈의 스펙트럼 및 공간 특성을 융합하여 다중 스펙트럼 이미지의 복잡한 정보를 처리하는 능력이 향상되었습니다. 이 모듈은 더욱 정확한 스펙트럼 및 공간적 특징 추출을 수행하여 다중 스펙트럼 이미지 분석을 위한 모델의 효율성과 정확성을 향상시킵니다.

DSC(밀집 스킵 연결) : 그림 d에서 볼 수 있듯이, 이 모듈은 각 단계에서 특징의 해상도를 복원할 수 있습니다.

마지막으로, 각 단계의 특징을 가중치를 부여하고 융합하여 최종 결과를 얻습니다.

알고리즘 학습: 단순 모델 기반 DTL 방법

연구진은 LM과 모델의 마이그레이션 성능을 개선하기 위해 딥 전이 학습(DTL) 방법을 도입했습니다. 알고리즘 훈련은 원격 감지 이미지에서 산사태와 배경의 불균형 분포를 효과적으로 처리하고, 동시에 여러 성능 지표에서 모델의 효율성을 보장하도록 설계되었습니다.

실험 결과: 전이 학습 후 모델은 산사태 매핑 작업을 효과적으로 수행했습니다.

모델 평가: GLFE와 DSSA 모듈 결합의 효과

연구진은 산사태 지도 작성에 일반적으로 사용되는 방법인 UNet++를 기준선으로 사용하고, 루딩 지역 I과 II를 실험 그룹으로 사용했습니다. 그들은 IoU와 F1의 두 가지 전반적인 지표에 초점을 맞춰, 다양한 모듈을 추가한 모델을 비교하기 위해 절제 실험을 수행했습니다.

아래 표에서 볼 수 있듯이,

* GLFE 모듈의 효과성: 기준선과 비교했을 때 IoU와 F1은 각각 1.7%와 1.16%만큼 향상되었습니다.

* DSSA 모듈의 효과성: 기준선과 비교했을 때 IoU와 F1은 각각 1.88%와 1.28%만큼 향상되었습니다.

* SCDUNet++ 모델: 기준선과 비교했을 때 IoU는 2.83%, F1은 1.92% 향상되었습니다.

요약하자면, 연구진은 기준 모델 UNet++에 GLFE 모듈과 DSSA 모듈을 추가하여 SCDUNet++ 모델을 형성했습니다. SCDUNet++ 모델은 더 나은 성능을 위해 작은 산사태 이미지를 유지하여 모델 정밀도를 0.46%만큼, 재현율을 4.06%만큼 향상시켰습니다.

a: 기준선
b: 기준선 + GLFE
c: 기준선 + DSSA
d: 기준선 + GLFE + DSSA

루딩 테스트: SCDUNet++가 우수한 성능을 입증했습니다.

연구진은 루딩 I 및 II 테스트 지역에서 SCDUNet++ 모델의 산사태 매핑 작업을 다른 8개 모델의 작업과 비교하여 SCDUNet++가 특정 지리적 특징과 환경적 복잡성에 얼마나 민감한지 알아냈습니다.

아래 그림의 결과는 테스트 영역 I에서 SCDUNet++가 정밀도, 재현율, MCC, IoU, MIoU 및 F1 점수에서 높은 성능을 보인다는 것을 보여줍니다.이는 이 모델이 비교적 복잡한 지리적 환경에서도 여전히 높은 탐지 정확도를 유지할 수 있음을 보여줍니다.비교적 단순한 배경을 가진 테스트 영역 II의 실험 결과는 SCDUNet++가 다양한 환경에서 적응성이 있다는 것을 확인시켜 주었으며, 특히 재현율과 MIoU 측면에서 그 효과가 컸습니다.

시각화 결과에서 SCDUNet++ 모델은 다음과 같이 뛰어난 성능을 보여줍니다.

산사태 매핑 완성도:SCDUNet++는 비교적 완벽한 산사태 지도를 생성할 수 있습니다. 이와 대조적으로 FCN, Segformer, TransUNet, UNet과 같은 모델은 일부 작은 산사태 이미지를 놓칩니다.

FP(거짓 양성, 즉 양성 클래스로 잘못 예측된 음성 클래스) 처리: 맨땅 면적과 산사태 특성이 매우 유사하기 때문에 모든 모델은 FP 정도가 다르지만 SCDUNet++는 특정 특징 추출 모듈을 기반으로 어느 정도 FP 생성을 억제할 수 있습니다.

경계 영역 처리: 연구진은 산사태와 배경의 경계 영역에서 다수의 FN(거짓 부정, 즉 양성 클래스가 음성 클래스로 잘못 예측된 것)과 FP를 발견했지만, SCDUNet++는 모든 레벨의 특징을 복구하고 융합하고 심층 감독을 수행할 수 있는 중첩 디코더를 사용하여 부정확한 경계 문제를 효과적으로 해결했습니다.

A, B, C, D의 흰색 사각형은 결과의 주요 차이점을 보여줍니다.
a: 테스트 영역 I
b: 테스트 구역 II

전반적으로 SCDUNet++ 모델은 루딩 지역의 산사태 매핑에 큰 잠재력을 보여주며, 특히 복잡한 환경을 처리하고 경계를 정확하게 결정하는 데 효과적입니다.

Jiuzhaigou 테스트: 전이 학습 후 모델 예측이 더 정확해졌습니다.

루딩 지역에서 훈련된 모델을 직접 활용

지표 비교: SCDUNet++는 대부분의 지표에서 다른 모델보다 우수한 성능을 보입니다. 다만, 구채구 실험구의 특성이 비교적 단순하다는 점을 고려해야 하며, 모형 시험 결과는 루딩구보다 좋아야 하지만 지표가 그다지 이상적이지는 않습니다.

시각화 결과: 아래 그림은 매핑 결과에 FP(파란색 영역)가 거의 없지만 실제 산사태는 많이 누락되었음을 보여줍니다.

딥 전이 학습으로 최적화된 모델

개선된 지표: 심층 전이 학습 후 모든 지표에서 테스트 영역 III과 IV가 상당히 개선되었으며, 특히 재현율과 F1 점수가 크게 증가했습니다. SCDUNet++ 모델은 여전히 여러 지표에서 가장 좋은 성과를 보였습니다.

시각화 결과: 심층 전이 학습 후, 거짓 부정(즉, 양성 클래스가 음성 클래스로 잘못 예측되는 것)의 수가 크게 감소했습니다. 이 모델은 대규모 산사태를 효과적으로 식별하고 지도화하여 감지 누락을 줄입니다. 동시에, 모델 LM 결과에는 대부분의 소규모 산사태가 포함됩니다.이는 심층 전이 학습을 거친 SCDUNet++ 모델이 작고 복잡한 산사태 특징을 더 잘 인식할 수 있음을 보여줍니다.

a: DTL 전 테스트 영역 III
b: DTL 이후의 테스트 영역 III
c: DTL 전 IV 테스트 영역
d: DTL 후 테스트 영역 IV

지질재해 예방 및 통제 분야 국가중점연구소

청두는 쓰촨 분지의 서쪽에 위치하고 있으며, 지질 구조가 복잡합니다. 해당 지역과 주변 지역은 지진 재해의 영향을 받는 경우가 많습니다. 청두는 재난 예방 및 완화의 최전선에서 싸워왔다고 할 수 있으며, 청두이공대학은 이 "전투"에 가장 먼저 참여한 핵심 세력 중 하나입니다.

1989년, 국가계획위원회와 국가교육위원회는 청두이공대학(구 청두지질연구소)에 국가중점지질공학학과를 기반으로 한 국가전문연구소 설립을 승인했습니다.이는 국가지질위험방지 및 지질환경보호중점실험실의 전신입니다. 2001년에 이 실험실은 쓰촨성 인민정부로부터 "쓰촨성 중점 실험실"로 승인되었습니다. 2002년에는 과학기술부와 쓰촨성이 공동으로 건설한 "국가중점실험실육성기지"가 되었습니다. 2003년에는 국토자원부의 중점연구소로 승인되었습니다. 2007년 10월, 과학기술부는 이 연구소를 국가중점연구소 건설계획에 포함하도록 승인했습니다. 2010년 12월 과학기술부의 승인을 받았습니다.

또한 본 연구실은 현재 우리나라에서 지질재해 예방 및 제어 분야에서 유일한 국가중점연구실입니다. 2017년에는 국토자원부와 과학기술부로부터 "전국 국토자원 과학보급기지"로 선정되었고, 2020년에는 쓰촨성 제12기 성급 과학보급기지로 선정되었습니다.

수천 년 동안 서 있던 산에서 산사태가 발생하면 바위와 흙이 물처럼 경사진 산을 따라 흘러내려 수 킬로미터 떨어진 마을이나 도시를 순식간에 덮칩니다. 재난 뒤에는 연구자들이 탐구해야 할 미스터리가 숨어 있습니다. 수년에 걸쳐 실험실 연구자들은 현장 조사, 시뮬레이션 평가, 모니터링 및 조기 경보를 통해 지질 재해 예방 및 통제와 지질 환경 보호를 위한 완전한 이론 및 기술 시스템 세트를 점진적으로 축적해 왔습니다.

2023년 11월, 연구자들은 PNAS에 지진과 산사태의 스틱슬립 불안정성 연구에 중요한 진전을 이룬 논문을 발표했습니다. 2023년 9월에는 지진이나 산사태의 스틱슬립 전구체 특성을 연구하여 다가올 지진이나 산사태에 대한 예측 정보를 제공하는 논문이 발표되었습니다. 2023년 1월, 고속 장거리 산사태의 초강력 유동화 현상의 미스터리가 해결되었습니다.

고대부터 현재까지 인류는 지진, 쓰나미, 폭우, 가뭄 등의 자연재해로 인해 여러 번 '핍박'을 받았으며, 이로 인해 수많은 가족이 쫓겨났습니다. 오늘날 기술이 급속도로 발전하고 있지만, 우리가 자연의 힘에 맞서 싸우는 것은 여전히 어렵고, 우리가 할 수 있는 일은 예방 조치를 취하고 경고를 발령하는 것뿐입니다. 특히 AI, 빅데이터 등 기술의 급속한 발전으로 과거 재난으로 축적된 데이터는 귀중한 영양소가 되어 다양한 예측 모델의 정확도와 정밀도를 높여 현대 사회에 더 나은 서비스를 제공할 수 있게 되었습니다.

우리는 인간이 자연을 정복할 수 있다고 늘 믿어 왔기 때문에 인간은 자연재해에 직면해서도 결코 물러서지 않았습니다. 우리는 AI와 같은 기술이 인간이 자연재해에 저항하고 생명과 재산의 안전을 보호하는 든든한 방패가 될 것이라고 믿습니다.

HyperAI 공식 홈페이지에 자연재해 및 지질 관련 데이터 세트가 업로드되었습니다.

* xBD 자연재해 이미지 데이터 세트:

https://hyper.ai/datasets/13272

* RSSCN7 데이터 세트 원격 감지 이미지 데이터 세트:

https://hyper.ai/datasets/5440

* 2013년 유럽 홍수 유럽 홍수 데이터 세트:

https://hyper.ai/datasets/21579

참고문헌:
https://www.sklgp.cdut.edu.cn/