다중 평면 이미지를 통한 3D 객체 운동 추정을 통한 동적 장면의 시차 시각 합성

저성능 컴퓨팅 장치에서 고프레임레이트 영상을 그래픽적으로 렌더링하는 과제는 가상현실 응용 프로그램에서 사용자 경험을 향상시키기 위해 향후 프레임을 주기적으로 예측함으로써 해결할 수 있다. 이 문제는 시간적 뷰 합성(Temporal View Synthesis, TVS)이라는 문제를 통해 연구된다. TVS의 목적은 이전 프레임들과 이전 및 다음 프레임의 헤드 포즈를 기반으로 다음 프레임을 예측하는 것이다. 본 연구에서는 사용자와 객체 모두가 움직이는 동적 장면의 TVS를 고려한다. 우리는 사용자 움직임과 객체 움직임을 분리하여, 가용한 사용자 움직임을 효과적으로 활용하면서 다음 프레임을 예측하는 프레임워크를 설계한다. 객체의 움직임은 과거 프레임들에서 3차원 객체 움직임을 분리하고 추정한 후 이를 외삽함으로써 예측한다. 장면의 3차원 표현으로 다중 평면 이미지(Multi-Plane Image, MPI)를 사용하며, 객체 움직임을 MPI 표현에서 대응하는 점들 사이의 3차원 이동으로 모델링한다. MPI의 희소성 문제를 해결하기 위해, 대응하는 점들을 추정할 때 부분 컨볼루션(Partial Convolutions)과 마스크된 상관 계층(Masked Correlation Layers)을 도입한다. 예측된 객체 움직임은 주어진 사용자 또는 카메라 움직임과 결합되어 다음 프레임을 생성한다. 카메라 및 객체 움직임으로 인해 드러나는 영역을 채우기 위해 비가시성 보정(Inocclusion Infilling) 모듈을 활용한다. 본 연구에서는 전체 HD 해상도의 800개 영상으로 구성된 새로운 동적 장면에 대한 TVS를 위한 합성 데이터셋을 개발하였다. 제안한 모델이 제안된 데이터셋과 MPI Sintel 데이터셋에서의 실험을 통해 기존의 모든 경쟁 방법들을 상회함을 입증하였다.