위성 영상에서 필미 클라우드 제거를 위한 다중 스펙트럼 조건부 생성적 적대 네트워크

본 논문에서는 가시광선 RGB 위성 이미지에서 구름을 제거하기 위해 조건부 생성적 적대 네트워크(cGANs)를 RGB 이미지에서 다중 스펙트럼 이미지로 확장하는 방법을 제안합니다. 위성 이미지는 자연 환경 모니터링(오염, 삼림 또는 하천), 교통 개선, 재난에 대한 신속한 응급 대응 등 다양한 목적으로 널리 활용되고 있습니다. 그러나 구름으로 인한 시야 저하로 인해 가시광선 카메라로 지상 상황을 안정적으로 모니터링하는 것이 어려워집니다. 더 긴 파장을 사용하여 촬영된 이미지를 도입하여 구름의 영향을 줄이는 방안이 제시되었습니다. 합성 개구 레이다(Synthetic Aperture Radar, SAR)는 구름이 존재하더라도 가시성을 향상시키는 예입니다. 반면, 파장이 증가할수록 공간 해상도는 감소합니다. 또한, 긴 파장을 사용하여 촬영된 이미지는 가시광선으로 촬영된 이미지와 외관 면에서 크게 다릅니다. 따라서, 본 연구에서는 입력으로 주어진 다중 스펙트럼 이미지에서 구름을 제거하고 가시광선 이미지를 생성할 수 있는 네트워크를 제안합니다. 이는 cGANs의 입력 채널을 다중 스펙트럼 이미지와 호환되도록 확장함으로써 이루어집니다. 네트워크는 실제 지상 상태에 가까운 이미지를 출력하도록 학습됩니다. 이를 위해 실제 지상 상태에 구름이 합성된 이미지를 입력으로 사용하여 학습됩니다. 현재 사용 가능한 데이터셋에서는 삼림이나 바다의 이미지 비율이 매우 높아, 원래 데이터셋에서 균일하게 샘플링하면 학습 데이터셋에 편향이 생길 수 있습니다. 따라서, t-분포 기반 확률적 최근접 이웃 임베딩(t-Distributed Stochastic Neighbor Embedding, t-SNE)을 이용하여 학습 데이터셋의 편향 문제를 개선하였습니다. 마지막으로, 본 논문에서는 제안된 네트워크의 타당성을 세 가지 가시광선 밴드와 하나의 근적외선(Near-Infrared, NIR) 밴드를 포함하는 4밴드 이미지 데이터셋에서 확인하였습니다.