다중 시점에서 신규 시점으로: 자기 학습된 신뢰도를 활용한 신규 시점 합성

다중 시점 신규 시점 합성 문제를 다루며, 주어진 소스 이미지들로부터 임의의 카메라 자세를 가진 타겟 이미지를 합성하는 것을 목표로 한다. 우리는 3D 감독 없이도 다수의 시점을 활용하여 새로운 시점을 합성할 수 있도록 학습하는 엔드투엔드 훈련 가능한 프레임워크를 제안한다. 구체적으로, 본 모델은 소스 뷰에 나타나는 정보를 직접 활용하고 통계적 사전 지식을 기반으로 누락된 픽셀을 추측하는 흐름 예측 모듈과 픽셀 생성 모듈로 구성된다. 다중 시점 소스 이미지가 주어졌을 때 두 모듈이 생성한 예측을 융합하기 위해, 자가 학습형 신뢰도 집계 메커니즘을 도입한다. 제안한 모델은 3D 객체 모델에서 렌더링된 이미지뿐 아니라 실제 및 합성 장면에 대해 평가하였다. 실험을 통해 본 모델이 최신 기술 수준의 성능을 달성할 뿐만 아니라, 제공되는 소스 이미지가 많아질수록 점차 예측 성능이 향상됨을 입증하였다.