VideoGigaGAN: 세부 정보 풍부한 비디오 슈퍼해상도를 향하여

비디오 초해상도 증강(VSR) 기법들은 증강된 영상에서 놀라운 시간적 일관성을 보여주고 있다. 그러나 이러한 기법들은 생성 능력의 한계로 인해 이미지 기반 초해상도 기법에 비해 더 흐릿한 결과를 생성하는 경향이 있다. 이는 근본적인 질문을 제기한다. 생성형 이미지 초해상도 기법의 성공을 시간적 일관성을 유지하면서 VSR 작업에 확장할 수 있을까? 우리는 고주파 세부 정보와 시간적 일관성을 갖춘 영상을 생성할 수 있는 새로운 생성형 VSR 모델인 VideoGigaGAN을 제안한다. VideoGigaGAN은 대규모 이미지 초해상도 모델인 GigaGAN을 기반으로 구축되었다. 단순히 시간 모듈을 추가하여 GigaGAN을 영상 모델로 확장하는 것은 심각한 시간적 깜빡임(flickering) 현상을 유발한다. 우리는 이러한 문제를 분석하고, 증강된 영상의 시간적 일관성을 크게 향상시키는 기법을 제안한다. 실험 결과, 기존의 VSR 기법들과 달리 VideoGigaGAN은 더 세밀한 외형 세부 정보를 갖춘 시간적으로 일관된 영상을 생성함을 확인할 수 있었다. 공개 데이터셋을 이용한 최신 VSR 모델들과의 비교를 통해 VideoGigaGAN의 효과성을 검증하였으며, 8배 초해상도를 달성한 영상 결과를 제시하였다.