실시간 레디언스 필드 렌더링을 위한 3D 가우시안 스플래시ング

최근 들어 레디언스 필드(Radiance Field) 기법은 다수의 사진이나 영상으로 촬영된 장면의 새로운 시점 합성에서 혁신적인 발전을 이끌고 있다. 그러나 높은 시각적 품질을 달성하기 위해서는 학습과 렌더링에 비용이 큰 신경망이 필요하며, 최근 개발된 빠른 방법들은 성능을 희생시키며 속도를 추구할 수밖에 없다. 특히 무한한 크기의 완전한 장면(고립된 객체가 아닌)과 1080p 해상도 렌더링의 경우, 현재까지 어떤 방법도 실시간 재생 속도(초당 30프레임 이상)를 달성하지 못하고 있다. 본 연구에서는 상태 최고의 시각적 품질을 달성하면서도 경쟁적인 학습 시간을 유지하고, 특히 1080p 해상도에서 고화질 실시간(≥30fps) 새로운 시점 합성을 가능하게 하는 세 가지 핵심 요소를 제안한다. 첫째, 카메라 캘리브레이션 과정에서 생성된 희박한 점들로부터 시작하여, 연속적인 부피형 레디언스 필드의 바람직한 특성을 유지하면서 동시에 빈 공간에서 불필요한 계산을 피할 수 있도록 3차원 가우시안(3D Gaussians)을 이용해 장면을 표현한다. 둘째, 3차원 가우시안의 최적화와 밀도 제어를 겹쳐 수행하며, 특히 이방성 공분산(anisotropic covariance)을 최적화함으로써 장면의 정확한 표현을 달성한다. 셋째, 이방성 스플래팅(anisotropic splatting)을 지원하는 빠른 가시성 인식 렌더링 알고리즘을 개발하여 학습 속도를 가속화하고 동시에 실시간 렌더링을 가능하게 한다. 제안한 방법은 여러 기존 데이터셋에서 최고 수준의 시각적 품질과 실시간 렌더링 성능을 입증하였다.