SEN12MS-CR-TS: 다중 모드 다중 시점 클라우드 제거를 위한 원격 감지 데이터 세트

우주기반 위성을 통해 수집된 모든 광학 관측의 약 절반은 안개나 구름에 의해 영향을 받습니다. 따라서, 구름 덮음이 지구의 연속적이고 원활한 모니터링 능력을 저해합니다. 본 연구는 광학 위성 이미지 재구성 및 구름 제거의 도전 과제를 해결하기 위해 SEN12MS-CR-TS라는 새로운 다중 모드 및 다중 시점 데이터 세트를 제안합니다. 우리는 SEN12MS-CR-TS의 이점과 사용 사례를 강조하는 두 가지 모델을 제안합니다: 첫째, 구름이 있는 광학 이미지와 레이다 이미지 시퀀스에서 구름 없는 이미지를 예측하는 다중 모드 다중 시점 3D-컨벌루션 신경망입니다. 둘째, 구름으로 인해 가려진 시간 시리즈에서 구름 없는 시간 시리즈를 예측하는 시퀀스-투-시퀀스 변환 모델입니다. 두 접근 방식 모두 실험적으로 평가되었으며, 각각의 모델은 SEN12MS-CR-TS 데이터 세트에서 훈련 및 테스트되었습니다. 수행된 실험은 우리의 데이터 세트가 원격 감지 커뮤니티에 기여한 바와 다중 모드 및 다중 시점 정보가 노이즈 정보를 재구성하는 데 미치는 이점을 강조합니다. 우리의 데이터 세트는 https://patrickTUM.github.io/cloud_removal 에서 이용 가능합니다.