비디오 프레임 보간을 위한 통합 피라미드 순환 네트워크

흐름 가이드형 합성은 연속 입력 프레임 사이의 중간 프레임을 생성하기 위해 광학 흐름(optical flow)을 추정하여 합성을 안내하는 공통적인 프레임워크를 제공한다. 본 논문에서는 프레임 보간을 위한 새로운 유니티드 피라미드 순환 네트워크(Upr-Net)를 제안한다. 유연한 피라미드 구조에 기반한 UPR-Net은 양방향 흐름 추정과 중간 프레임 합성 모두에 가벼운 순환 모듈을 활용한다. 각 피라미드 수준에서, 추정된 양방향 흐름을 이용하여 프레임 합성을 위한 전방 왜곡(Forward-warped) 표현을 생성하며, 피라미드 수준 간에는 광학 흐름과 중간 프레임 모두에 대해 반복적인 정밀화(iterative refinement)를 가능하게 한다. 특히, 본 연구에서는 반복적 합성 전략이 큰 운동(motion) 상황에서 프레임 보간의 강건성(robustness)을 크게 향상시킬 수 있음을 보여준다. 매우 가벼운 구조(1.7M 파라미터)임에도 불구하고, UPR-Net의 기본 버전은 다양한 벤치마크에서 뛰어난 성능을 달성한다. UPR-Net 시리즈의 코드 및 학습된 모델은 다음 주소에서 제공된다: https://github.com/srcn-ivl/UPR-Net.