Zooming Slow-Mo: 빠르고 정확한 단계형 시공간 비디오 초해상도 재생성

본 논문에서는 저 프레임률(LFR), 저 해상도(LR) 비디오에서 고해상도(HR) 슬로우 모션 비디오를 생성하는 시공간 비디오 초해상도 작업을 탐구합니다. 간단한 해결책은 이 작업을 비디오 프레임 보간(VFI)과 비디오 초해상도(VSR)의 두 하위 작업으로 나누는 것입니다. 그러나 시간적 보간과 공간적 초해상도는 이 작업에서 상호 연관되어 있습니다. 두 단계 방법은 이러한 자연적인 특성을 충분히 활용할 수 없습니다. 또한, 최신 VFI 또는 VSR 네트워크는 고품질의 비디오 프레임을 예측하기 위해 큰 프레임 합성 또는 재구성 모듈이 필요하며, 이로 인해 두 단계 방법이 큰 모델 크기를 가지게 되어 시간 소모적이 됩니다.이러한 문제를 극복하기 위해, 우리는 LFR, LR 비디오에서 직접 HR 슬로우 모션 비디오를 합성하는 한 단계 시공간 비디오 초해상도 프레임워크를 제안합니다. VFI 네트워크가 누락된 LR 비디오 프레임을 합성하는 것과 달리, 먼저 제안된 특징 시간 보간 네트워크를 통해 누락된 LR 비디오 프레임에서 로컬 시간 맥락을 포착하는 LR 프레임 특징을 시간적으로 보간합니다. 그 다음, 전역 시간 맥락을 더 효과적으로 활용하기 위해 시간 정보를 동시에 정렬하고 집계하는 변형 가능한 ConvLSTM(Deformable ConvLSTM)을 제안합니다. 마지막으로, 깊은 재구성 네트워크를 사용하여 HR 슬로우 모션 비디오 프레임을 예측합니다.기준 데이터셋에 대한 광범위한 실험 결과, 제안된 방법이 최근 두 단계 최신 방법(DAIN+EDVR 및 DAIN+RBPN 등)보다 3배 이상 빠르면서도 양적 및 질적으로 더 우수한 성능을 달성함을 입증하였습니다.