9일 전
Mip-NeRF 360: 무한 크기의 앤티앨리어싱 신경 렌디언스 필드
Jonathan T. Barron, Ben Mildenhall, Dor Verbin, Pratul P. Srinivasan, Peter Hedman

초록
신경 레이디언스 필드(NeRF)는 물체나 공간의 작은 유한 영역에 대해 놀라운 시점 합성 성능을 보여주었지만, 카메라가 어느 방향으로든 향할 수 있고, 콘텐츠가 어떤 거리에든 존재할 수 있는 '무한한'(unbounded) 장면에서는 어려움을 겪는다. 이러한 환경에서는 기존의 NeRF 유사 모델들이 가까운 물체와 멀리 있는 물체의 세부 정보와 스케일이 균형을 이루지 못해 흐릿하거나 저해상도의 렌더링을 생성하며, 학습 속도가 느리고, 이미지 집합이 작을 때 큰 장면을 재구성하는 작업의 본질적인 모호성으로 인해 아티팩트가 발생하기도 한다. 본 연구에서는 샘플링과 엔지니어링 아리티(aliased) 문제를 해결하기 위해 제안된 mip-NeRF의 확장 버전을 제시한다. 이 모델은 비선형 장면 파라미터화, 온라인 디스틸레이션(online distillation), 그리고 새로운 왜곡 기반 정규화 기법을 활용하여 무한한 장면에서 발생하는 문제를 극복한다. 본 모델은 카메라가 특정 점을 중심으로 360도 회전하는 장면을 타깃으로 하여 ‘mip-NeRF 360’이라 명명한다. 기존의 mip-NeRF 대비 평균 제곱 오차(MSE)를 57% 감소시켰으며, 매우 복잡한 실제 무한 장면에 대해 현실적인 합성 시점과 세밀한 깊이 맵을 생성하는 데 성공하였다.