원은 모두이다: 점진적 볼륨 디스틸레이션을 통한 신경 레이디언스 필드 아키텍처 간의 격차 해소

신경 레이디언스 필드(Neural Radiance Fields, NeRF) 기법은 3D 장면을 컴팩트하고 고품질, 다용도한 표현 방식으로 효과적으로 제공하며, 편집, 검색, 탐색 등의 후속 작업을 가능하게 한다. 다양한 신경망 아키텍처가 NeRF의 핵심 구조로 경쟁하고 있으며, 단순한 다층 퍼셉트론(Multi-Layer Perceptron, MLP), 희소 텐서(sparse tensors), 낮은 랭크 텐서(low-rank tensors), 해시 테이블(hashtables), 그리고 이들의 조합이 포함된다. 각 표현 방식은 고유한 성능 트레이드오프를 지닌다. 예를 들어, 해시 테이블 기반 표현은 더 빠른 학습과 렌더링을 가능하게 하지만, 명확한 기하학적 의미가 부족하여 공간 관계 인식 편집과 같은 후속 작업에 장애를 초래할 수 있다. 본 논문에서는 다양한 아키텍처 간의 임의의 변환을 가능하게 하는 체계적인 증류 기법인 점진적 볼륨 증류(Progressive Volume Distillation, PVD)를 제안한다. 이는 MLP, 희소 또는 낮은 랭크 텐서, 해시 테이블 및 그 조합 등 다양한 구조 간의 상호 변환을 가능하게 하여, 후속 응용 프로그램이 작업의 특성에 맞게 신경망 표현을 사후(post hoc) 방식으로 최적화할 수 있도록 한다. 변환은 빠르며, 증류 과정이 얕은 수준에서 깊은 수준으로 점진적으로 수행되기 때문이다. 또한, 밀도(density)의 특수한 수치적 불안정성 문제를 해결하기 위해 별도의 처리 기법을 도입하였다. 제안된 방법의 유효성을 NeRF-Synthetic, LLFF, TanksAndTemples 데이터셋을 통해 실험적으로 검증하였다. 예를 들어, PVD를 활용하면 해시 테이블 기반의 Instant-NGP 모델에서 MLP 기반의 NeRF 모델을 기존 NeRF를 처음부터 학습하는 것보다 약 10~20배 빠른 속도로 증류할 수 있으며, 동시에 더 뛰어난 합성 품질을 달성할 수 있다. 코드는 https://github.com/megvii-research/AAAI2023-PVD 에서 공개되어 있다.