초록
비디오 프레임 보간(VFI)은 존재하는 프레임 사이에 존재하지 않는 중간 프레임을 합성하는 것을 목표로 한다. 흐름 기반(VFI) 알고리즘은 존재하는 프레임을 왜곡(warp)하기 위해 중간 운동장을 추정한다. 실제 세계의 운동은 복잡하며, 기준 프레임이 존재하지 않는 경우 운동 추정이 더욱 어렵다. 많은 최첨단 접근 방식들은 보다 정확한 운동 추정을 위해 인접한 두 프레임 간의 상관관계를 명시적으로 모델링한다. 일반적인 접근 방식에서는 고해상도에서 상관관계 모델링의 수용 영역(receptive field)이 사전에 추정된 운동장에 의존한다. 이러한 수용 영역 의존성은 작은 크기이거나 빠르게 움직이는 물체에 대한 운동 추정 성능을 저하시킨다. 보다 정확한 상관관계 모델링과 정밀한 운동장을 생성하기 위해, 우리는 수용 영역 의존성 문제를 제거한 밀집 질의 이중 상관관계(Densely Queried Bilateral Correlation, DQBC)를 제안한다. 이는 작은 크기나 빠르게 움직이는 물체에 더 적합하다. DQBC를 활용해 생성된 운동장은 맥락 특징(context features)을 통해 추가로 정제되고 상향 샘플링된다. 운동장이 고정된 후, CNN 기반의 SynthNet이 최종 보간 프레임을 합성한다. 실험 결과, 제안하는 방법은 최첨단 기술 대비 더 높은 정확도와 더 짧은 추론 시간을 제공함을 확인하였다. 소스 코드는 다음 주소에서 공개되어 있다: https://github.com/kinoud/DQBC.