하이퍼릴: 레이 조건부 샘플링을 활용한 고정밀 6-DoF 비디오

볼륨릭 장면 표현은 정적인 장면에 대해 사실적인 시각 합성을 가능하게 하며, 여러 기존의 6-DoF 비디오 기법의 기반이 된다. 그러나 이러한 표현을 구동하는 볼륨 렌더링 과정은 품질, 렌더링 속도, 메모리 효율성 측면에서 신중한 트레이드오프를 필요로 한다. 특히 기존의 방법들은 도전적인 실세계 장면에 대해 실시간 성능, 작고 효율적인 메모리 사용, 그리고 고품질 렌더링을 동시에 달성하지 못하고 있다. 이러한 문제를 해결하기 위해 우리는 새로운 6-DoF 비디오 표현 방식인 HyperReel을 제안한다. HyperReel의 두 핵심 구성 요소는 다음과 같다: (1) 고해상도에서 고정밀도 및 고프레임 렌더링을 가능하게 하는 광선 조건부 샘플 예측 네트워크, 그리고 (2) 컴팩트하고 메모리 효율적인 동적 볼륨 표현 방식이다. 제안하는 6-DoF 비디오 파이프라인은 기존 및 동시대의 접근 방식들과 비교해 시각적 품질 측면에서 최고의 성능을 기록하며, 소규모 메모리 요구량을 유지하면서도 메가픽셀 해상도에서 최대 18프레임/초의 속도로 렌더링이 가능하다. 이 과정에서는 특수한 CUDA 코드 없이도 가능하다.