다층 이미지를 활용한 스테레오 확대

다수의 반투명 색상 층을 사용하여 장면을 표현하는 방식은 실시간 신규 시점 합성에서 널리 사용되고 성공적인 접근법으로 자리 잡아왔다. 기존의 방법들은 평면 또는 구형 형태의 정규 간격으로 배치된 층 위에서 색상과 투명도 값을 추정한다. 본 연구에서는 장면에 적합한 기하 구조를 갖춘 다수의 반투명 층을 기반으로 하는 새로운 시점 합성 방법을 제안한다. 제안하는 방법은 스테레오 쌍을 이용하여 두 단계에 걸쳐 이러한 표현을 추정한다. 첫 번째 단계에서는 주어진 시점 쌍으로부터 데이터 적응형 층의 기하 구조를 소수의 층에 대해 추정한다. 두 번째 단계에서는 이러한 층에 대해 색상과 투명도 값을 추정하여 최종적인 신규 시점 합성 표현을 생성한다. 중요한 점은 두 단계 모두 미분 가능한 렌더러를 통해 연결되어 있으며, 종단 간(end-to-end)으로 학습된다는 것이다. 실험을 통해, 장면 기하 구조에 적응하지 않은 정규 간격 층을 사용하는 기존 방법에 비해 제안하는 방법의 우수성을 입증한다. 렌더링 속도가 수배 이상 빠르면서도, 은닉 기하 구조 표현을 기반으로 한 최신의 IBRNet 시스템보다도 성능이 뛰어나다. 결과는 다음 링크에서 확인할 수 있다: https://samsunglabs.github.io/StereoLayers