고해상도 광학 이미지와 SAR 이미지의 융합을 이용한 생성적 적대 신경망을 활용한 클라우드 제거

구름의 존재는 광학 원격 감지 영상에서 정보 누락을 초래하는 주요 요인 중 하나로, 지구 관측 분야에서의 활용을 제한하고 있다. 따라서 구름으로 인한 정보 누락을 복원하는 방법은 매우 중요한 과제이다. 본 논문에서는 합성 개구 레이더(SAR) 영상과 광학 영상 간의 이미지-이미지 변환 기법을 기반으로 한 컨볼루션 신경망(CNN) 모델과 이질적 정보 융합 개념을 영감으로 삼아, 새로운 구름 제거 방법을 제안한다. 제안된 방법은 대략 두 단계로 구성된다. 첫 번째 단계에서는 특별히 설계된 컨볼루션 신경망(CNN)을 이용해 객체-객체 방식으로 SAR 영상을 시뮬레이션된 광학 영상으로 변환한다. 두 번째 단계에서는 시뮬레이션된 광학 영상과 원래의 SAR 영상, 그리고 구름으로 인해 손상된 광학 영상을 기반으로, 특수한 손실 함수를 갖춘 생성적 적대 신경망(GAN)을 활용하여 손상된 영역을 복원한다. 첫 번째 단계와 두 번째 단계 사이에서 시뮬레이션된 광학 영상의 대비 및 밝기를 무작위로 조정함으로써 모델의 강건성을 향상시킨다. 제안된 방법의 유효성을 검증하기 위해 센티넬 1/2, GF 2/3 및 항공기 기반 SAR/광학 데이터를 대상으로 한 시뮬레이션 실험 2건과 실데이터 실험 1건을 수행하였다. 실험 결과, 제안된 방법이 SAR 영상을 보조 데이터로 활용하는 최신 기술들보다 우수한 성능을 보임을 입증하였다.