동적 업샘플링 필터를 사용한 명시적 운동 보정 없이 수행하는 딥 비디오 슈퍼리졸루션 네트워크

영상 슈퍼리졸루션(VSR)은 최근 초고해상도 디스플레이를 위한 고해상도(HR) 콘텐츠 제공에 있어 더욱 중요한 역할을 하고 있다. 많은 딥러닝 기반의 VSR 기법이 제안되었지만, 대부분의 방법은 운동 추정 및 보상의 정확도에 크게 의존하고 있다. 본 논문에서는 VSR을 위한 근본적으로 다른 프레임워크를 제안한다. 우리는 각 픽셀의 국소적 시공간 이웃에 따라 동적 업샘플링 필터와 잔차 이미지를 생성하는 새로운 엔드투엔드 딥 신경망을 제안한다. 이 방식은 명시적인 운동 보상 없이도 동작할 수 있도록 설계되어 있다. 제안한 방법을 통해 입력 영상에서 동적 업샘플링 필터를 활용하여 직접 고해상도 영상을 재구성하고, 계산된 잔차를 통해 세부 정보를 보완한다. 새로운 데이터 증강 기법을 도입한 본 네트워크는 기존 방법 대비 훨씬 더 선명하고 시간적으로 일관성 있는 고해상도 영상을 생성할 수 있다. 또한, 광범위한 실험을 통해 네트워크가 운동을 어떻게 암묵적으로 처리하는지에 대한 분석을 제공한다.