비디오 프레임 보간을 위한 실시간 중간 흐름 추정

실시간 비디오 프레임 보간(VFI)은 비디오 처리, 미디어 플레이어, 디스플레이 장치 등에서 매우 유용한 기술입니다. 본 논문에서는 실시간 중간 흐름 추정(Intermediate Flow Estimation) 알고리즘인 RIFE(Rapid Intermediate Flow Estimation)을 제안합니다. 고품질의 흐름 기반 VFI를 실현하기 위해 RIFE는 중간 흐름을 엔드투엔드 방식으로 빠르게 추정할 수 있는 신경망인 IFNet을 사용합니다. 안정적인 IFNet 훈련과 전반적인 성능 향상을 위해 특수한 프리미엄 디스틸레이션(Privileged Distillation) 기법을 설계하였습니다. RIFE는 사전 훈련된 광학 흐름 모델에 의존하지 않으며, 시간 인코딩 입력을 통해 임의의 타임스텝 프레임 보간을 지원합니다. 실험 결과, RIFE는 여러 공개 벤치마크에서 최신 기술 수준(SOTA)의 성능을 달성함을 입증하였습니다. 대표적인 SuperSlomo 및 DAIN 방법과 비교했을 때, RIFE는 4~27배 더 빠르면서도 더 우수한 결과를 제공합니다. 또한, 시간 인코딩 기반 설계 덕분에 RIFE는 더 넓은 응용 분야로 확장 가능한 가능성을 지닙니다. 코드는 https://github.com/megvii-research/ECCV2022-RIFE 에서 공개되어 있습니다.