개선된 딥 이미지 프라이어와 잔차 재구성 기반의 고분광 팬샤arpening

고분광 패널샤프닝(Hyperspectral pansharpening)은 저해상도 고분광 영상(LR-HSI)과 등록된 전광 영상(PAN)을 이용하여 고해상도의 스펙트럼 및 공간 해상도를 갖춘 개선된 고분광 영상을 생성하는 것을 목표로 한다. 최근 제안된 고분광 패널샤프닝 방법들은 깊은 합성곱 네트워크(ConvNets)를 활용하여 놀라운 성능을 달성하였으며, 일반적으로 다음과 같은 세 단계로 구성된다: (1) 저해상도 고분광 영상의 해상도 증가, (2) ConvNet을 통해 잔차 영상(residual image) 예측, (3) 첫 번째 및 두 번째 단계의 출력을 합산하여 최종 융합 고분광 영상 얻기. 최근의 방법들은 대규모 데이터셋에 대한 학습 없이도 공간 및 스펙트럼 정보를 효과적으로 보존할 수 있는 Deep Image Prior(DIP) 기법을 활용하여 LR-HSI의 해상도 증가를 수행하고 있다. 그러나 본 연구에서는 기존의 스펙트럼 도메인 에너지 함수에 추가적인 공간 도메인 제약 조건을 도입함으로써, 해상도 증가된 고분광 영상의 품질을 더욱 향상시킬 수 있음을 관찰하였다. 본 연구에서 제안하는 공간 도메인 제약 조건은 예측된 전광 영상과 실제 전광 영상 간의 $L_1$ 거리로 정의된다. 해상도 증가된 HSI에 대한 전광 영상을 추정하기 위해, 학습 가능한 스펙트럼 반응 함수(SRF)도 제안한다. 또한, 해상도 증가된 HSI와 참조 HSI 간의 잔차 영상이 주로 경계 정보 및 매우 미세한 구조로 구성됨을 확인하였으며, 이러한 미세한 정보를 정확히 추정하기 위해, 깊은 층에서 수용 영역(receptive field)의 증가를 제한함으로써 고차원 특징을 효과적으로 학습하는 새로운 과잉(over-complete) 네트워크인 HyperKite를 제안한다. 본 연구는 세 가지 고분광 영상 데이터셋에서 실험을 수행하여, 제안한 DIP-HyperKite가 최신 패널샤프닝 기법들에 비해 우수한 성능을 보임을 입증한다. 본 연구에서 제안한 DIP-HyperKite 및 비교를 위해 사용된 방법들의 배포 코드, 사전 학습된 모델, 최종 융합 출력물은 공개적으로 https://github.com/wgcban/DIP-HyperKite.git 에서 제공될 예정이다.