초록
저해상도 비디오의 초해상도 복원은 일반적으로 단일 이미지 초해상도(SR) 또는 다중 프레임 SR 방식으로 처리된다. 단일 이미지 SR은 각 비디오 프레임을 독립적으로 처리하며, 실제로 초해상도 복원에 매우 중요한 역할을 하는 프레임 간의 시간적 의존성(time-dependent)을 무시한다. 반면, 다중 프레임 SR은 보통 광학 흐름(optical flow)과 같은 운동 정보를 추출하여 시간적 의존성을 모델링하지만, 이 경우 높은 계산 비용이 발생하는 경향이 있다. 반복 신경망(RNN)이 시간 시퀀스의 장기적 맥락 정보를 효과적으로 모델링할 수 있다는 점에 착안하여, 효율적인 다중 프레임 SR을 위한 양방향 반복 합성곱 네트워크를 제안한다. 기존의 일반적인 RNN과 달리, 본 연구의 모델은 1) 일반적으로 사용되는 반복 전결합을 가중치 공유 합성곱 결합으로 대체하고, 2) 이전 입력 계층에서 현재 은닉층으로의 조건부 합성곱 결합을 추가하여 시각-시간적 의존성 모델링을 강화한다. 강력한 시간적 의존성 모델링 능력을 바탕으로, 본 모델은 복잡한 운동을 포함한 비디오를 고해상도로 복원할 수 있으며, 최신 기술 수준(SOTA)의 성능을 달성한다. 또한 합성곱 연산이 계산 비용이 낮은 특성 덕분에, 다른 다중 프레임 방법 대비 수 개의 주기(orders of magnitude) 더 빠르게 실행될 수 있다.