BMBC: 비디오 보간을 위한 이중 운동 추정과 이중 비용 볼륨

비디오 인터폴레이션은 두 연속 프레임 사이에 중간 프레임을 합성함으로써 비디오 시퀀스의 시간 해상도를 향상시키는 기술이다. 본 연구에서는 양방향 운동 추정을 기반으로 한 새로운 딥러닝 기반 비디오 인터폴레이션 알고리즘을 제안한다. 먼저, 양방향 비용 볼륨을 활용한 양방향 운동 네트워크를 개발하여 정확한 양방향 운동을 추정한다. 이후, 양방향 운동을 근사하여 다양한 형태의 양방향 운동을 예측한다. 그 다음, 추정된 양방향 운동을 이용해 두 입력 프레임을 왜곡(warp)한다. 이후, 동적 블렌딩 필터를 생성하는 동적 필터 생성 네트워크를 설계한다. 마지막으로, 왜곡된 프레임들을 동적 블렌딩 필터를 사용하여 결합함으로써 중간 프레임을 생성한다. 실험 결과, 제안하는 알고리즘이 여러 벤치마크 데이터셋에서 기존 최고 성능 알고리즘을 상회함을 확인하였다.