깊이 인식 비디오 프레임 보간

비디오 프레임 보간의 목적은 원래 프레임 사이에 존재하지 않는 프레임을 합성하는 것입니다. 최근 딥 컨볼루션 신경망을 통해 상당한 발전이 이루어졌지만, 큰 물체 운동이나 가림 현상으로 인해 보간의 품질이 종종 저하됩니다. 본 연구에서는 깊이 정보를 활용하여 가림 현상을 명시적으로 감지하는 비디오 프레임 보간 방법을 제안합니다. 구체적으로, 더 가까운 물체보다 먼 물체를 선호하여 샘플링하는 중간 유동을 합성하기 위해 깊이 인식 유동 투영 레이어를 개발하였습니다. 또한, 이웃 픽셀에서 문맥 정보를 수집하기 위해 계층적 특징을 학습하였습니다. 제안된 모델은 광학 유동과 로컬 보간 커널을 기반으로 입력 프레임, 깊이 맵, 그리고 문맥 특징을 왜곡(warp)하여 출력 프레임을 합성합니다. 우리의 모델은 소형, 효율적이며 완전히 미분 가능합니다. 정량적 및 정성적 결과는 제안된 모델이 다양한 데이터셋에서 최신의 프레임 보간 방법들에 대해 우수한 성능을 나타냄을 입증하고 있습니다.