원격 탐사 영상에서 자기지도 학습을 위한 글로벌-로컬 뷰 정렬 확장

대량의 고품질 원격탐사 이미지가 쉽게 접근 가능해짐에 따라, 수동 레이블링이 적은 이미지 코퍼스를 활용하는 연구가 점점 더 주목받고 있다. 자기지도 학습(self-supervised learning, SSL) 모델은 대량의 레이블이 없는 데이터에 대해 의사 레이블(pseudo-label)을 생성하는 전처리 과제(pretext task)를 설정함으로써 일반적인 특징 표현을 학습한다. 기존 연구들은 원격탐사 분야에서 다양한 자기지도 학습 기법을 탐구해왔지만, 자연 이미지 분야에서 최신 기술 수준의 성능을 달성한 지역-전역 시각 정렬(local-global view alignment) 기반의 전처리 과제는 여전히 미비하게 연구되어 왔다. DINO 모델이 지역-전역 시각 정렬을 기반으로 지식 증류(knowledge distillation)를 활용한 효과적인 표현 학습 구조를 제안한 데 착안하여, 원격탐사 이미지에 대한 자기지도 학습(SSLRS)을 위한 두 가지 전처리 과제를 제안한다. 이러한 과제를 활용해, SSLRS에서 긍정적 시간적 대비(positive temporal contrast)와 다중 크기 시각(multi-sized views)의 효과성을 탐구한다. DINO의 구조를 확장하여, 원격탐사 이미지에서 관측되는 객체 크기의 제한된 변동성을 완화하기 위해 고정된 크기의 지역 시각 대신 다양한 크기의 자르기(crop)를 사용하는 DINO-MC를 제안한다. 실험 결과, DINO-MC는 데이터셋의 단지 10%만을 사전 훈련해도, 여러 원격탐사 작업에서 기존 최고 수준의 SSLRS 방법들과 동등하거나 더 뛰어난 성능을 보이며, 동시에 더 적은 계산 자원을 사용함을 입증하였다. 모든 코드, 모델 및 결과는 https://github.com/WennyXY/DINO-MC 에 공개된다.