FLAVR: Flow-Agnostic Video Representations for Fast Frame Interpolation FLAVR: Flow에 종속되지 않는 비디오 표현을 이용한 빠른 프레임 보간

비디오 프레임 보간을 위한 대부분의 방법은 비디오의 인접한 프레임 간 양방향 광유동(optical flow)을 계산하고, 적절한 왜곡 알고리즘(warping algorithm)을 사용하여 출력 프레임을 생성합니다. 그러나 광유동에 의존하는 접근 방식은 비디오에서 직접적으로 가림(occlusions)과 복잡한 비선형 운동(non-linear motions)을 모델링하는 데 자주 실패하며, 광범위한 배포에 적합하지 않은 추가적인 병목 현상을 초래합니다. 이러한 제한 사항을 해결하기 위해, 우리는 3D 공간-시간 합성곱(3D space-time convolutions)을 사용하여 비디오 프레임 보간에 대한 엔드투엔드 학습 및 추론이 가능하도록 설계된 유연하고 효율적인 아키텍처인 FLAVR를 제안합니다. 우리의 방법은 효율적으로 비선형 운동, 복잡한 가림, 그리고 시간적 추상화(temporal abstractions)에 대해 추론하는 능력을 학습하여 비디오 보간 성능을 향상시키면서도 광유동이나 깊이 맵(depth maps)과 같은 추가 입력이 필요하지 않습니다. 그 단순성 덕분에 FLAVR는 다중 프레임 보간에서 현재 가장 정확한 방법보다 3배 빠른 추론 속도를 제공하면서 보간 정확성을 잃지 않습니다. 또한, 우리는 Vimeo-90K, UCF101, DAVIS, Adobe, GoPro 등 다양한 인기 벤치마크에서 이전 방법들보다 우수한 질적 및 양적 결과를 일관되게 입증하기 위해 FLAVR를 폭넓은 범위의 도전적인 환경에서 평가하였습니다. 마지막으로, 우리는 FLAVR가 행동 인식(action recognition), 광유동 추정(optical flow estimation), 그리고 운동 확대(motion magnification)를 위한 유용한 자기 지도 전제 작업(self-supervised pretext task)으로 활용될 수 있음을 시연하였습니다.