특성 유도형 마스킹 오토인코더를 통한 원격 탐사에서의 자기지도 학습

원격 탐사 분야에서 시각적 변환기( vision transformers)의 사전 훈련을 위해 마스킹된 이미지 모델링을 기반으로 한 자기지도 학습(Self-supervised learning), 예를 들어 마스킹된 오토인코더(Masked Autoencoder, MAE)는 광범위한 주목을 받고 있다. 그러나 MAE는 픽셀 수준의 세부 정보에 과도하게 집중하는 경향이 있어, 특히 노이즈가 많은 SAR 이미지에서 의미적 이해 능력의 제한을 초래한다. 본 논문에서는 스펙트럼적 및 공간적 원격 탐사 이미지 특징을 개선된 MAE 재구성 목표로 탐색한다. 먼저 다양한 이미지 특징의 재구성에 대한 실험을 수행한 결과, 원본 픽셀보다 동일하거나 더 우수한 성능을 보였다. 이러한 관찰을 바탕으로, 다중 스펙트럼 이미지의 경우 방향성 기울기 히스토그램(Histograms of Oriented Gradients, HOG)과 정규화된 차이 지수(Normalized Difference Indices, NDI)의 조합을, SAR 이미지의 경우는 HOG만을 재구성 목표로 설정하는 특징 지도형 마스킹 오토인코더(Feature Guided Masked Autoencoder, FG-MAE)를 제안한다. 세 가지 하류 작업에 대한 실험 결과는 FG-MAE의 효과성을 입증하며, 특히 SAR 이미지 처리에서 두드러진 성능 향상을 보였다. 더불어 FG-MAE의 우수한 확장성(스케일러블리티)을 입증하고, 중간 해상도의 SAR 및 다중 스펙트럼 이미지용 사전 훈련된 시각 변환기의 첫 번째 시리즈를 공개한다.