BiFormer: 4K 비디오 프레임 보간을 위한 양측 변형기 기반 이중 운동 추정 학습

본 논문에서는 이중 변환기(BiFormer) 기반의 새로운 4K 영상 프레임 보간 기법을 제안한다. 이 기법은 세 가지 단계로 구성된다: 전역 운동 추정, 국소 운동 보정, 프레임 합성. 먼저 전역 운동 추정 단계에서 저해상도에서 대칭적인 이중 운동장을 예측한다. 이를 위해 본 논문은 처음으로 트랜스포머 기반의 이중 운동 추정기인 BiFormer을 제안한다. 두 번째 단계에서는 블록 단위 이중 비용 볼륨(BBCV)을 활용하여 전역 운동장을 효율적으로 보정한다. 세 번째 단계에서는 보정된 운동장을 이용해 입력 프레임을 왜곡하고, 이를 혼합하여 중간 프레임을 합성한다. 광범위한 실험을 통해 제안된 BiFormer 알고리즘이 4K 데이터셋에서 뛰어난 보간 성능을 달성함을 입증하였다. 소스 코드는 다음 주소에서 제공된다: https://github.com/JunHeum/BiFormer.