11일 전

계절적 대비: 정제되지 않은 원격 감지 데이터로부터의 비지도 사전 훈련

Oscar Mañas, Alexandre Lacoste, Xavier Giro-i-Nieto, David Vazquez, Pau Rodriguez
계절적 대비: 정제되지 않은 원격 감지 데이터로부터의 비지도 사전 훈련
초록

원격 탐사와 자동 지구 모니터링은 재해 예방, 토지 이용 모니터링, 기후 변화 대응과 같은 글로벌 규모의 과제 해결을 위한 핵심 기술이다. 비록 원격 탐사 데이터의 양은 방대하지만, 대부분은 레이블이 부족하여 지도 학습 알고리즘에 접근하기 어렵다. 전이 학습(transfer learning) 기법은 딥러닝 알고리즘의 데이터 요구량을 줄일 수 있다. 그러나 대부분의 기법은 ImageNet 데이터셋으로 사전 학습되며, 도메인 간 차이(도메인 갭)로 인해 원격 탐사 이미지에 대한 일반화 성능이 보장되지 않는다. 본 연구에서는 원격 탐사 표현의 도메인 내 사전 학습을 위해 레이블이 없는 데이터를 효과적으로 활용할 수 있는 '계절적 대비(Seasonal Contrast, SeCo)'라는 새로운 파이프라인을 제안한다. SeCo 파이프라인은 두 가지 구성 요소로 이루어져 있다. 첫째, 다양한 지구 위치와 시간대의 이미지를 포함한 대규모이고 레이블이 없으며 정제되지 않은 원격 탐사 데이터셋을 체계적으로 수집하는 절차이다. 둘째, 시간적 및 위치 불변성(time and position invariance)을 활용하여 원격 탐사 응용에 전이 가능한 표현을 학습하는 자기 지도 학습(self-supervised learning) 알고리즘이다. 실험적으로 SeCo로 학습된 모델이 여러 하류 작업에서 ImageNet 사전 학습 모델 및 최신 자기 지도 학습 기법보다 뛰어난 성능을 보임을 입증하였다. SeCo에서 사용된 데이터셋과 모델은 공개될 예정이며, 이는 전이 학습을 촉진하고 원격 탐사 응용 분야의 빠른 발전을 가능하게 할 것이다.

계절적 대비: 정제되지 않은 원격 감지 데이터로부터의 비지도 사전 훈련 | 최신 연구 논문 | HyperAI초신경