SSL4EO-S12: 지구 관측에서 자기지도 학습을 위한 대규모 다중 모달, 다중 시계열 데이터셋

자기지도 학습 사전 훈련은 인간의 레이블링 없이도 표현력이 �-rich한 표현을 생성할 잠재력을 지닌다. 지구 관측(Earth Observation, EO) 분야에서의 대부분의 사전 훈련은 ImageNet이나 중간 규모의 레이블링된 원격 탐사(Remote Sensing, RS) 데이터셋에 기반하고 있다. 본 연구에서는 유럽우주국(ESA)의 Sentinel-1 및 Sentinel-2 위성 미션을 통해 수집한 위성 영상으로부터 대규모, 전 세계적, 다중 모달, 다계절성 코퍼스를 구성하기 위해, ‘SSL4EO-S12(Self-Supervised Learning for Earth Observation - Sentinel-1/2)’이라는 레이블링되지 않은 RS 데이터셋을 공개한다. EO 응용 분야에서 SSL4EO-S12가 MoCo-v2, DINO, MAE, data2vec 등 다양한 방법에 대해 자기지도 사전 훈련에 성공적으로 활용되었음을 보여주며, 이를 통해 얻어진 모델들은 지도 학습의 정확도 수준에 근접하거나 이를 초월하는 하류 작업 성능을 나타낸다. 또한, 기존의 데이터셋과 비교해 SSL4EO-S12에서의 사전 훈련이 더욱 뛰어난 성능을 발휘함을 확인하였다. 본 연구에서는 데이터셋, 관련 소스 코드, 사전 훈련된 모델을 모두 공개하며, GitHub 페이지(https://github.com/zhu-xlab/SSL4EO-S12)에서 열람 및 다운로드가 가능하다.