9일 전

Mip-NeRF 360: 무한 크기의 앤티앨리어싱 신경 렌디언스 필드

Jonathan T. Barron, Ben Mildenhall, Dor Verbin, Pratul P. Srinivasan, Peter Hedman
Mip-NeRF 360: 무한 크기의 앤티앨리어싱 신경 렌디언스 필드
초록

신경 레이디언스 필드(NeRF)는 물체나 공간의 작은 유한 영역에 대해 놀라운 시점 합성 성능을 보여주었지만, 카메라가 어느 방향으로든 향할 수 있고, 콘텐츠가 어떤 거리에든 존재할 수 있는 '무한한'(unbounded) 장면에서는 어려움을 겪는다. 이러한 환경에서는 기존의 NeRF 유사 모델들이 가까운 물체와 멀리 있는 물체의 세부 정보와 스케일이 균형을 이루지 못해 흐릿하거나 저해상도의 렌더링을 생성하며, 학습 속도가 느리고, 이미지 집합이 작을 때 큰 장면을 재구성하는 작업의 본질적인 모호성으로 인해 아티팩트가 발생하기도 한다. 본 연구에서는 샘플링과 엔지니어링 아리티(aliased) 문제를 해결하기 위해 제안된 mip-NeRF의 확장 버전을 제시한다. 이 모델은 비선형 장면 파라미터화, 온라인 디스틸레이션(online distillation), 그리고 새로운 왜곡 기반 정규화 기법을 활용하여 무한한 장면에서 발생하는 문제를 극복한다. 본 모델은 카메라가 특정 점을 중심으로 360도 회전하는 장면을 타깃으로 하여 ‘mip-NeRF 360’이라 명명한다. 기존의 mip-NeRF 대비 평균 제곱 오차(MSE)를 57% 감소시켰으며, 매우 복잡한 실제 무한 장면에 대해 현실적인 합성 시점과 세밀한 깊이 맵을 생성하는 데 성공하였다.

Mip-NeRF 360: 무한 크기의 앤티앨리어싱 신경 렌디언스 필드 | 최신 연구 논문 | HyperAI초신경