초록
우리는 비디오 초해상도 문제를 해결하기 위한 새로운 아키텍처를 제안하였습니다. 연속적인 비디오 프레임에서 공간적 및 시간적 맥락을 재귀적 인코더-디코더 모듈을 통해 통합하여, 대상 프레임에 대해 더 전통적인 단일 프레임 초해상도 경로와 다중 프레임 정보를 융합합니다. 대부분의 이전 연구가 스택킹(stack)이나 와핑(warping)을 통해 프레임들을 함께 처리하는 것과 달리, 우리의 모델인 재귀적 백프로젝션 네트워크(Recurrent Back-Projection Network, RBPN)는 각 맥락 프레임을 별도의 정보 출처로 취급합니다. 이러한 출처들은 다중 이미지 초해상도에서 백프로젝션(back-projection)의 아이디어에서 영감을 받은 반복적인 정교화 프레임워크에서 결합됩니다. 이 과정은 대상에 대한 추정된 프레임 간 운동을 명시적으로 표현함으로써 보완되며, 프레임들을 명시적으로 맞춤(alignment)하는 대신 이를 사용합니다. 우리는 더 큰 규모에서 평가할 수 있고, 다양한 운동 상태의 비디오를 고려할 수 있는 새로운 비디오 초해상도 벤치마크를 제안하였습니다. 실험 결과는 우리의 RBPN이 여러 데이터셋에서 기존 방법들보다 우수함을 입증하고 있습니다.