17일 전

위성 이미지 시계열의 인코딩 재고찰

Xin Cai, Yaxin Bi, Peter Nicholl, Roy Sterritt
위성 이미지 시계열의 인코딩 재고찰
초록

위성 이미지 시계열(Satellite Image Time Series, SITS) 표현 학습은 높은 공간-시간 해상도, 비정기적인 관측 시간, 복잡한 공간-시간 상호작용 등으로 인해 매우 복잡하다. 이러한 도전 과제는 SITS 분석을 위해 특화된 신경망 아키텍처의 개발을 촉발하였다. 이 분야는 선도적인 연구자들의 훌륭한 성과를 거두었지만, 컴퓨터 비전(CV) 분야에서 확립된 최신 기술이나 패러다임을 SITS에 효과적으로 전이하는 것은 여전히 큰 도전 과제로 남아 있다. 그 이유는 기존의 비효율적인 표현 학습 프레임워크가 존재하기 때문이다. 본 논문에서는 최근 쿼리 기반 트랜스포머 디코더를 도입하여 객체 탐지나 이미지 세그멘테이션 파이프라인을 간소화하는 추세에 영감을 받아, SITS 처리를 직접적인 세트 예측 문제로 재정의하는 새로운 관점을 제안한다. 또한 SITS의 표현 학습 과정을 수집-업데이트-분배(collect-update-distribute)라는 세 가지 명시적인 단계로 분해함으로써, 비정기적이고 비동기적인 시간적 위성 관측 데이터에 적합하면서도 계산 효율적인 접근 방식을 제안한다. 이러한 독창적인 재정의를 바탕으로, 본 연구는 자원 효율적인 픽셀-세트 형식으로 초기 학습한 후 하류의 밀도 예측 작업에서 미세 조정을 수행하는 SITS의 시간적 학습 백본을 개발하였으며, 이는 PASTIS 벤치마크 데이터셋에서 새로운 최고 성능(SOTA)을 달성하였다. 특히, SITS의 의미적/판오틱 세그멘테이션 파이프라인에서 시간적 요소와 공간적 요소 간의 명확한 분리가 가능해졌으며, 이로 인해 컴퓨터 비전 분야의 최신 기술, 예를 들어 통합 이미지 세그멘테이션 아키텍처를 효과적으로 활용할 수 있게 되었다. 그 결과, 기존에 보고된 최고 성능 대비 mIoU는 2.5점, PQ는 8.8점 각각 향상되는 뚜렷한 성과를 거두었다.

위성 이미지 시계열의 인코딩 재고찰 | 최신 연구 논문 | HyperAI초신경