LightGaussian: 15배 감소 및 200 FPS 이상의 무한 3D Gaussian 압축

최근 포인트 기반 기술을 활용한 실시간 신경 렌더링 기술의 발전으로 3차원 표현 방식의 보편적 적용이 가능해지고 있다. 그러나 3D 가우시안 스플래터링(3D Gaussian Splatting, 3D-GS)과 같은 기초적 접근 방식은 구조에서 모션(SfM) 점이 수백만 개까지 증가할 수 있어 저장 공간 부담이 크며, 단일 비한정(scene) 시나리오에 대해 기가바이트 수준의 디스크 공간이 필요할 수 있다. 이러한 증가 추세는 확장성 문제를 야기하고 스플래터링의 효율성을 저해한다. 이를 해결하기 위해 본 연구에서는 3D 가우시안을 보다 컴팩트한 형식으로 변환하는 LightGaussian 기법을 제안한다. 네트워크 프루닝(Network Pruning)의 아이디어를 차용하여, 장면 재구성에 있어 전역적으로 최소한의 기여도를 가지는 가우시안을 식별하고, 프루닝 및 복구 과정을 통해 중복성을 줄이면서도 시각적 품질을 유지한다. 이후 지식 전달(Knowledge Distillation)과 가상 뷰 증강(Pseudo-view Augmentation)을 통해 구면 조화 함수 계수를 낮은 차수로 변환함으로써, 더욱 컴팩트한 표현을 도출한다. 각 가우시안의 전역적 중요도를 기반으로 한 가우시안 벡터 양자화(Gaussian Vector Quantization)를 통해 비트 폭을 추가로 낮추되, 정확도 손실은 최소화한다. LightGaussian는 3D-GS 프레임워크 내에서 평균 15배의 압축률을 달성하며, FPS를 144에서 237로 향상시켜 Mip-NeRF 360 및 Tank & Temple 데이터셋에서 복잡한 시나리오의 효율적인 표현을 가능하게 한다. 제안된 가우시안 프루닝 기법은 Scaffold-GS와 같은 다른 3차원 표현 방식에도 적응 가능하며, 뛰어난 일반화 능력을 보여준다.