위성 시계열 자료를 활용한 작물 지도 작성을 위한 다중 모달 시간 주의 모델

광학 위성 시계열 데이터는 풍부한 스펙트럼 정보를 포함하는 반면, C밴드 레이더는 유용한 기하학적 정보를 포착할 수 있으며 구름에 의한 영향을 받지 않아, 서로 보완적인 특성을 지닌다. 최근 시간적 주의 기반 모델이 다양한 작물 맵핑 작업에서 성공을 거두며, 이러한 모델이 여러 모달리티에 어떻게 적용될 수 있는지 탐구하는 것이 중요해졌다. 본 연구에서는 다양한 융합 방식을 구현하고 평가하였으며, 새로운 접근법과 학습 절차의 단순한 조정을 통해 추가적인 복잡성 없이 성능과 효율성을 크게 향상시켰다. 우리는 대부분의 융합 방식이 각각의 장점과 단점을 지니고 있음을 보여주며, 이는 특정 설정에 적합함을 시사한다. 이후 다중 모달리티의 이점을 여러 작업—작물 구획 분류, 픽셀 기반 세그멘테이션, 팬토픽 구획 세그멘테이션—에 대해 평가하였다. 그 결과, 광학 및 레이더 시계열 데이터를 동시에 활용함으로써 다중 모달 시간적 주의 기반 모델이 단일 모달 모델보다 뛰어난 성능과 구름에 대한 강건성을 보임을 입증하였다. 이러한 실험을 수행하기 위해, PASTIS 데이터셋에 공간적으로 정렬된 레이더 이미지 시계열 데이터를 추가하였다. 결과적으로 생성된 데이터셋인 PASTIS-R은 의미적 및 인스턴스 레이블을 포함한, 대규모, 다중 모달, 개방형 위성 시계열 데이터셋으로서 세계 최초의 사례이다.