iSeeBetter: 순환-생성적 백프로젝션 네트워크를 활용한 시공간 영상 슈퍼리졸루션

최근 들어 학습 기반 모델은 단일 이미지 초해상도(SISR) 성능을 향상시켰다. 그러나 영상의 각 프레임에 SISR를 연속적으로 적용하는 방식은 시간적 일관성을 저해하는 문제가 있다. 기존의 전통적 방법에 비해 컨볼루션 신경망(CNN)은 피크 신호 대 잡음 비율(PSNR)과 구조적 유사도(SSIM)와 같은 이미지 품질 지표에서 우수한 성능을 보이고 있다. 그러나 대안적 생성적 적대 신경망(GAN)은 큰 확대 비율에서 CNN 모델이 보여주는 세부 질감 정보의 부족 문제를 완화할 수 있어 경쟁적인 장점을 제공한다. 본 논문에서는 시간적 일관성을 유지하는 초해상도 영상을 생성하는 새로운 GAN 기반의 공간-시간 영상 초해상도(VSR) 방법인 iSeeBetter를 제안한다. iSeeBetter는 재귀적 역프로젝션 네트워크(recurrent back-projection networks) 개념을 기반으로 생성자(generator)를 설계하여 현재 프레임과 인접 프레임으로부터 공간적 및 시간적 정보를 추출한다. 또한, 기존 알고리즘에서 흔히 나타나는 아티팩트를 제거하면서 초해상도 이미지의 자연스러움을 향상시키기 위해 초해상도 생성적 적대 신경망(SRGAN)의 판별자(discriminator)를 활용한다. 평균 제곱 오차(MSE)를 주요 손실 최소화 목적함수로 사용하면 PSNR/SSIM 지표는 향상되지만, 이러한 지표는 이미지의 미세한 세부 정보를 충분히 반영하지 못해 인지적 품질을 정확히 표현하지 못할 수 있다. 이를 해결하기 위해 MSE, 인지적 손실(perceptual loss), 적대적 손실(adversarial loss), 총 변동(Total-variation, TV) 손실을 포함하는 사중(4종) 손실 함수를 도입하였다. 실험 결과, iSeeBetter는 기존 최첨단 기법들을 능가하는 뛰어난 VSR 정확도를 보이며, 우수한 성능을 입증하였다.