깊은 복셀 흐름을 이용한 비디오 프레임 합성

우리는 기존 비디오에서 새로운 비디오 프레임을 생성하는 문제를 다룹니다. 이는 기존 프레임 사이에 생성(interpolation)하거나, 기존 프레임 이후에 생성(extrapolation)하는 경우를 포함합니다. 이 문제는 비디오의 외관과 움직임이 매우 복잡할 수 있기 때문에 도전적입니다. 전통적인 광학 유동(optical flow) 기반 솔루션은 유동 추정이 어려운 부분에서 종종 실패하며, 최근의 신경망(neural network) 기반 방법들은 픽셀 값을 직접 생성(hallucinate)하지만 종종 흐린 결과를 만들어냅니다. 우리는 이 두 가지 방법의 장점을 결합하여, 기존 픽셀 값들로부터 픽셀 값을 유동시켜 비디오 프레임을 합성하도록 학습된 딥 네트워크를 훈련시키는데, 이를 '딥 보克셀 유동(Deep Voxel Flow)'이라고 합니다. 우리의 방법은 인간의 감독이 필요하지 않으며, 기존 프레임들을 제거한 후 다시 예측하도록 학습함으로써 어떤 비디오라도 훈련 데이터로 사용할 수 있습니다. 이 기술은 효율적이며, 모든 비디오 해상도에 적용될 수 있습니다. 우리는 우리의 방법이 양적 및 질적으로 최신 연구(state-of-the-art)보다 개선된 결과를 만들어낸다는 것을 시연하였습니다.