18일 전

내부 GAN을 이용한 블라인드 슈퍼해상도 커널 추정

Sefi Bell-Kligler, Assaf Shocher, Michal Irani
내부 GAN을 이용한 블라인드 슈퍼해상도 커널 추정
초록

초해상도(Super Resolution, SR) 기법들은 일반적으로 저해상도(Low-Resolution, LR) 이미지가 알려지지 않은 고해상도(High-Resolution, HR) 이미지로부터 고정된 '이상적' 내림샘플링 커널(예: 이중선형 보간 내림샘플링)을 통해 생성되었다고 가정한다. 그러나 실제 LR 이미지에서는 이와 같은 가정이 거의 성립하지 않으며, 이는 합성된 SR 데이터셋과는 대조된다. 만약 가정된 내림샘플링 커널이 실제 커널과 다를 경우, SR 기법의 성능은 크게 저하된다. 이러한 문제를 해결하기 위해 '블라인드 SR(Blind-SR)' 기법이 등장하였으며, 이는 내림샘플링 커널('SR-커널')이 알려지지 않은 상황에서의 SR을 의미한다. 이후 연구를 통해 진정한 SR-커널은 LR 이미지의 다양한 스케일 간에 패치의 반복성(recurrence)을 최대화하는 커널임이 밝혀졌다. 본 논문에서는 이러한 강력한 스케일 간 반복성 특성을 딥 인터널 러닝(Deep Internal Learning)을 통해 구현할 수 있음을 보여준다. 우리는 'KernelGAN'이라는 이미지별 내부 GAN(Internal-GAN)을 제안한다. 이는 테스트 시점에 단지 입력된 LR 테스트 이미지만을 사용하여 학습되며, 해당 이미지의 내부 패치 분포를 학습한다. KernelGAN의 Generator는 LR 테스트 이미지의 내림샘플링된 버전을 생성하도록 학습되며, 그 결과로 생성된 이미지의 패치 분포가 원본 LR 이미지의 패치 분포와 구분되지 않도록 한다. Discriminator는 두 분포 간의 차이를 식별하지 못하게 된다. 학습이 완료된 Generator는 정확한 이미지별 SR-커널을 갖는 내림샘플링 연산을 구성하게 된다. KernelGAN은 완전히 비지도 학습 기반이며, 입력 이미지 외에 추가적인 학습 데이터가 필요하지 않으며, 기존의 SR 알고리즘에 통합할 경우 블라인드 SR 분야에서 최신 기술 수준의 성능을 달성한다.