초록
비디오 보간은 연속된 두 프레임 사이에 중간 프레임을 합성함으로써 영상 시퀀스의 시간 해상도를 향상시키는 기술이다. 본 연구에서는 이중 운동 추정을 기반으로 한 새로운 딥러닝 기반 비디오 보간 알고리즘을 제안한다. 먼저, 이중 비용 볼륨을 활용한 이중 운동 네트워크를 개발하여 정확한 이중 운동을 추정한다. 그 후, 양방향 운동을 근사하여 다양한 형태의 이중 운동을 예측한다. 이후 추정된 이중 운동을 이용해 두 입력 프레임을 왜곡(warp)한다. 다음으로, 동적 블렌딩 필터를 생성하는 동적 필터 생성 네트워크를 설계한다. 마지막으로, 왜곡된 프레임들을 동적 블렌딩 필터를 사용하여 결합하여 중간 프레임을 생성한다. 실험 결과, 제안하는 알고리즘이 여러 벤치마크 데이터셋에서 최신 기술 대비 우수한 성능을 보였다.