11일 전

원격 탐사 시나리오 분류에서 여전히 ImageNet 사전 훈련이 필요한가?

Vladimir Risojević, Vladan Stojnić
원격 탐사 시나리오 분류에서 여전히 ImageNet 사전 훈련이 필요한가?
초록

레이블이 부족한 상황에서 원격 탐사 장면 분류 분야에서는 ImageNet에서 사전 훈련된 감독 학습 모델을 사용하는 것이 사실상 표준이 되어 왔다. 최근에는 더 큰 해상도의 원격 탐사(HRRS) 이미지 데이터셋이 공개되면서 자율 학습(self-supervised learning) 기술도 급속도로 발전함에 따라, 원격 탐사 장면 분류 작업에 있어 ImageNet에서의 감독 학습 사전 훈련이 여전히 필요할지, 아니면 HRRS 이미지 데이터셋에서 감독 학습으로 사전 훈련하는 것과 ImageNet에서 자율 학습으로 사전 훈련하는 것이 더 나은 성능을 내는지에 대한 질문이 제기되고 있다. 이러한 질문에 답하기 위해 본 논문에서는 여러 HRRS 이미지 데이터셋에서 모델을 처음부터 훈련시키는 것과 감독 학습 및 자율 학습 기반 ImageNet 사전 훈련 모델을 미세 조정(fine-tune)하는 방법을 모두 평가하였다. 또한, 학습된 표현의 전이 가능성(transferability)을 HRRS 장면 분류 작업에 대해 검증한 결과, 자율 학습 사전 훈련이 감독 학습 사전 훈련보다 우수한 성능을 보였으며, HRRS 데이터셋에서의 감독 학습 사전 훈련은 자율 학습 사전 훈련과 유사하거나 약간 낮은 성능을 보였다. 마지막으로, 도메인 내 HRRS 이미지를 활용한 두 번째 단계의 사전 훈련, 즉 도메인 적응형 사전 훈련(domain-adaptive pre-training)을 제안한다. 실험 결과, 도메인 적응형 사전 훈련을 통해 얻은 모델은 HRRS 장면 분류 벤치마크에서 최신 기술(SOTA) 수준의 성능을 달성함을 입증하였다. 소스 코드 및 사전 훈련 모델은 \url{https://github.com/risojevicv/RSSC-transfer}에서 제공된다.

원격 탐사 시나리오 분류에서 여전히 ImageNet 사전 훈련이 필요한가? | 최신 연구 논문 | HyperAI초신경