딥러닝은 항공 이미지 이해를 위한 원격 감지(RS) 연구를 크게 재구성하고 큰 성공을 거두었습니다. 그럼에도 불구하고, 대부분의 기존 딥 모델은 ImageNet 사전 학습 가중치로 초기화됩니다. 자연 이미지는 항공 이미지와 비교하여 필연적으로 큰 도메인 간극을 보이기 때문에, 이는 후속 항공 장면 작업에서 미세 조정(finetuning) 성능을 제한할 가능성이 있습니다. 이 문제는 우리에게 항공 이미지를 사용한 원격 감지 사전 학습(RSP)에 대한 경험적 연구를 수행하도록 동기를 부여합니다. 이를 위해, 현재까지 가장 큰 RS 장면 인식 데이터셋인 MillionAID를 활용하여 다양한 네트워크를 처음부터 훈련시켜 일련의 RS 사전 학습 백본을 얻었습니다. 여기에는 컨벌루션 신경망(CNN)과 Swin 및 ViTAE와 같은 비전 트랜스포머가 포함되며, 이러한 모델들은 컴퓨터 비전 작업에서 유망한 성능을 보여주었습니다. 그런 다음, 이러한 CNN 및 비전 트랜스포머 백본을 사용하여 장면 인식, 의미 분할, 객체 검출, 변화 검출 등 대표적인 후속 작업들의 RSP 영향을 조사했습니다. 경험적 연구 결과, RSP는 "교량"과 "비행기"와 같은 RS 관련 의미론을 인식하는 데 있어 장면 인식 작업에서 특별한 성능 향상을 가져올 수 있음을 보여주었습니다. 또한 우리는 RSP가 전통적인 ImageNet 사전 학습에서 RS 이미지의 데이터 차이를 완화시키지만, 여전히 후속 작업들이 장면 인식 작업과 다른 표현을 요구하는 작업 차이(task discrepancies)에 영향을 받을 수 있다는 것을 발견했습니다. 이러한 결과는 대규모 사전 학습 데이터셋과 효과적인 사전 학습 방법에 대한 추가 연구 노력이 필요함을 시사합니다. 코드와 사전 학습된 모델은 https://github.com/ViTAE-Transformer/ViTAE-Transformer-Remote-Sensing 에서 제공될 예정입니다.