first_pagesettings기사 재인쇄 요청Open Access 논문원격 감지에서 순차 기반 확산 모델을 이용한 구름 제거저자: 조샤오후 (Xiaohu Zhao) [ORCID], 자이커빈 (Kebin Jia) * [ORCID]베이징 공업대학 정보기술학부, 중국 베이징 100124* 통신 저자 Remote Sens. 2023, 15(11), 2861; https://doi.org/10.3390/rs15112861접수일: 2023년 4월 11일 / 수정일: 2023년 5월 24일 / 수락일: 2023년 5월 26일 / 게재일: 2023년 5월 31일(이 논문은 ‘원격 감지에서의 기계학습 발전을 통한 시공간 일반화 능력 향상’ 특별호에 포함됨) 다운로드 | 그림 탐색리뷰 보고서 | 버전 | 참고 사항 초록우주 기반 광학 위성으로 수집된 대부분의 광학 관측 데이터는 구름이나 안개에 의해 오염되어 있으며, 이는 지구 관측 기술의 후속 응용을 제한하고 있다. 따라서 이상적인 구름 제거 방법 탐색은 매우 중요한 과제이다. 본 논문에서는 원격 감지 분야의 구름 제거 작업을 위해 새로운 확률적 생성 모델인 순차 기반 확산 모델(Sequential-based Diffusion Models, SeqDMs)을 제안한다. 제안된 방법은 다중 모달 확산 모델(Multi-modal Diffusion Models, MmDMs)과 순차 기반 학습 및 추론 전략(Sequential-based Training and Inference Strategy, SeqTIS)으로 구성된다. 특히 MmDMs는 기존의 노이즈 제거 확산 확률 모델(DDPMs)의 역과정을 재구성하는 새로운 확산 모델로, 보조 모달리티(예: 구름의 영향에 강한 합성초기해상도 레이더(SAR))로부터 추가 정보를 통합하여 주 모달리티(즉, 광학 위성 영상)의 분포 학습을 지원한다. 시간 간 정보를 고려하기 위해 SeqTIS는 모델 재학습 없이도 주 모달리티 및 보조 모달리티의 입력 시퀀스에 대해 임의 길이의 시간 정보를 통합할 수 있도록 설계되었다. MmDMs와 SeqTIS의 도움을 받아 SeqDMs는 임의 길이의 입력 시퀀스를 처리할 수 있는 유연성을 지니며, 추가 입력 샘플이 단 1~2개만 있어도 상당한 성능 향상을 달성하고 모델 재학습에 소요되는 시간 비용을 크게 감소시킬 수 있다. 제안된 방법은 다중 모달리티 및 다중 시계열 구름 제거 작업을 위한 공개 실세계 데이터셋인 SEN12MS-CR-TS를 기반으로 평가되었다. 광범위한 실험과 아블레이션 연구를 통해 제안된 방법이 최신의 구름 제거 기법들과 비교해 재구성 샘플의 품질 면에서 뛰어난 성능을 보이며, 임의 길이 시퀀스 처리에 있어 뛰어난 유연성을 갖춘다는 것이 입증되었다.