초록
비디오 슈퍼리졸루션은 감시 영상 분석 및 초고해상도 영상 표시 분야에서 중요한 역할을 하며, 연구계와 산업계 모두에서 큰 관심을 받고 있다. 비록 많은 딥러닝 기반의 비디오 슈퍼리졸루션(VSR) 기법이 제안되었지만, 다양한 손실 함수와 학습 데이터셋이 슈퍼리졸루션 성능에 상당한 영향을 미치기 때문에 이러한 기법들 간의 직접적인 비교는 어렵다. 본 연구에서는 비디오 슈퍼리졸루션을 위한 세 가지 시간 모델링 방법(초기 융합을 사용한 2D CNN, 느린 융합을 사용한 3D CNN, 순환 신경망(RNN))을 철저히 분석하고 비교하였다. 또한, RNN의 학습 안정성을 높이고 동시에 슈퍼리졸루션 성능을 향상시키기 위해 잔차 학습(Residual Learning)을 활용한 새로운 순환 잔차 네트워크(RRN)를 제안한다. 광범위한 실험 결과에 따르면, 제안하는 RRN은 높은 계산 효율성을 보이며, 다른 시간 모델링 방법들보다 더 정교한 세부 정보를 갖는 시간적으로 일관된 VSR 결과를 생성함을 확인하였다. 더불어, 제안된 방법은 여러 널리 사용되는 벤치마크에서 최신 기술 수준(SOTA)의 성능을 달성하였다.