비디오 프레임 보간을 위한 향상된 양방향 운동 추정

움직임 기반 영상 프레임 보간을 위한 새로운 간단하면서도 효과적인 알고리즘을 제안한다. 기존의 움직임 기반 보간 방법은 일반적으로 사전 훈련된 광학 흐름 모델이나 U-Net 기반 피라미드 네트워크를 활용하여 움직임을 추정하지만, 이는 모델 크기가 크거나 복잡하고 큰 움직임을 다루는 데 한계가 있다. 본 연구에서는 중간 프레임 기반 전방 왜곡(foward-warping), 경량 특징 인코더, 그리고 상관성 볼륨(correlation volume)을 피라미드 반복 구조에 정교하게 통합함으로써, 입력 프레임 간 양방향 움직임을 동시에 추정할 수 있는 컴팩트한 모델을 도출하였다. 이 모델은 PWC-Net보다 크기가 15배 작지만, 도전적인 움직임 상황에 대해 더 신뢰성 있고 유연하게 대응할 수 있다. 추정된 양방향 움직임을 기반으로 입력 프레임과 그들의 컨텍스트 특징을 중간 프레임으로 전방 왜곡한 후, 왜곡된 표현을 바탕으로 합성 네트워크를 사용하여 중간 프레임을 추정한다. 제안한 방법은 다양한 영상 프레임 보간 벤치마크에서 뛰어난 성능을 보였다. 코드 및 학습된 모델은 \url{https://github.com/srcn-ivl/EBME}에서 제공된다.