콤팩트 3D 가우시안 표현을 통한 레디언스 필드

신경 레이디언스 필드(Neural Radiance Fields, NeRFs)는 높은 정밀도로 복잡한 3차원 장면을 포착할 수 있는 놀라운 잠재력을 보여주었다. 그러나 NeRFs의 광범위한 적용을 저해하는 지속적인 과제는 부피 렌더링(volume rendering)으로 인한 계산적 병목 현상이다. 반면, 최근 3D 가우시안 스플래팅(3D Gaussian Splatting, 3DGS)이 부피 렌더링 대신 래스터라이제이션 레이아웃을 활용한 3D 가우시안 기반 표현 방식으로 등장하여 매우 빠른 렌더링 속도와 기대할 만한 이미지 품질을 달성하였다. 그러나 3DGS의 주요 단점은 높은 정밀도를 유지하기 위해 수많은 3D 가우시안을 사용해야 하며, 이로 인해 메모리 및 저장 용량이 크게 증가한다는 점이다. 이 핵심 문제를 해결하기 위해 우리는 두 가지 핵심 목표에 집중한다: 성능을 희생하지 않으면서 가우시안 포인트의 수를 줄이고, 시점에 따라 달라지는 색상 및 공분산과 같은 가우시안 속성을 압축하는 것이다. 이를 위해 우리는 성능을 유지하면서도 가우시안 수를 크게 감소시키는 학습 가능한 마스크 전략을 제안한다. 또한, 구면 조화 함수(spherical harmonics)에 의존하는 대신 그리드 기반 신경 필드(grid-based neural field)를 활용하여 시점에 따라 달라지는 색상에 대해 컴팩트하면서도 효과적인 표현 방식을 제안한다. 마지막으로, 벡터 양자화(vector quantization)를 통해 가우시안의 기하학적 속성을 효율적으로 압축할 수 있는 코드북을 학습한다. 양자화 및 엔트로피 코딩과 같은 모델 압축 기술을 적용함으로써, 3DGS 대비 25배 이상의 저장 용량 감소와 함께 렌더링 속도 향상을 확인하였으며, 장면 표현의 품질은 유지하였다. 본 연구는 고성능, 빠른 학습, 컴팩트한 표현, 실시간 렌더링을 모두 달성하는 3차원 장면 표현을 위한 종합적인 프레임워크를 제안한다. 프로젝트 페이지는 다음 링크에서 확인할 수 있다: https://maincold2.github.io/c3dgs/.