고해상도 광학 흐름 추정을 이용한 딥 비디오 슈퍼해상도

비디오 슈퍼리졸루션(SR)은 저해상도(LR) 프레임에서 물리적으로 타당하고 시간적으로 일관된 세부 정보를 갖춘 고해상도(HR) 프레임 시퀀스를 생성하는 것을 목표로 한다. 비디오 SR의 핵심 과제는 연속 프레임 간의 시간적 의존성을 효과적으로 활용하는 것이다. 기존의 딥러닝 기반 방법들은 보통 LR 프레임 간의 광학 흐름(optical flow)을 추정하여 시간적 의존성을 제공한다. 그러나 LR 광학 흐름과 HR 출력 사이의 해상도 불일치는 세부 구조 복원을 방해한다. 본 논문에서는 광학 흐름과 이미지 모두를 동시에 슈퍼리졸루션하는 엔드투엔드 비디오 SR 네트워크를 제안한다. LR 프레임에서 추출한 HR 광학 흐름은 정확한 시간적 의존성을 제공하며, 궁극적으로 비디오 SR 성능을 향상시킨다. 구체적으로, 먼저 저해상도 광학 흐름에서 고해상도 광학 흐름을 계층적(coarse-to-fine) 방식으로 추정하는 광학 흐름 재구성 네트워크(OFRnet)를 제안한다. 이후 HR 광학 흐름을 이용해 움직임 보정(motion compensation)을 수행하여 시간적 의존성을 인코딩한다. 마지막으로, 보정된 LR 입력을 슈퍼리졸루션 네트워크(SRnet)에 공급하여 SR 결과를 생성한다. 다양한 실험을 통해 HR 광학 흐름이 SR 성능 향상에 기여함을 입증하였다. Vid4 및 DAVIS-10 데이터셋에서의 비교 실험 결과, 본 네트워크는 최신 기술 수준(state-of-the-art)의 성능을 달성하였다.