경량, 사전 학습된 트랜스포머를 이용한 원격 감시 시계열 분석

위성 데이터를 위한 기계 학습 방법은 다양한 사회적으로 중요한 응용 분야가 있지만, 모델을 훈련시키기 위해 사용되는 라벨을 얻는 것이 어려운 경우가 많거나 불가능할 수 있습니다. 제한된 라벨 데이터 환경에서는 자기 감독(self-supervision)이 자연스러운 해결책이지만, 현재의 위성 데이터를 위한 자기 감독 모델들은 그 데이터의 특성을 활용하지 못하고 있습니다. 이 특성에는 시간 차원(예를 들어 작물 성장을 모니터링하는 등 많은 응용 분야에서 중요함)과 여러 보완적 센서로부터 수집된 데이터의 활용 가능성이 포함됩니다(이는 모델의 예측 성능을 크게 향상시킬 수 있음).우리는 Presto(프레스토, 사전 훈련된 원격 감지 트랜스포머)라는 모델을 소개합니다. Presto는 원격 감지 픽셀-타임시리즈 데이터로 사전 훈련되었습니다. Presto를 원격 감지 데이터에 특화되도록 설계함으로써, 크기는 상당히 작지만 성능은 우수한 모델을 만들 수 있습니다. Presto는 전 세계적으로 분산된 다양한 원격 감지 작업에서 뛰어난 성능을 발휘하며, 훨씬 더 큰 모델들과 경쟁력을 갖추면서도 필요한 컴퓨팅 자원이 훨씬 적습니다. Presto는 전이 학습에 사용하거나 간단한 모델들의 특징 추출기로 활용될 수 있어 대규모 효율적인 배포를 가능하게 합니다.