NeRF: 신경 방사장으로 장면 표현하기 위한 뷰 합성

우리는 복잡한 장면의 새로운 시점을 합성하기 위해 최적화된 연속적인 부피 장면 함수를 사용하여 기존의 최고 수준 결과를 달성하는 방법을 제시합니다. 우리의 알고리즘은 단일 연속 5D 좌표(공간 위치 $(x,y,z)$와 관찰 방향 $(θ, ϕ)$)를 입력으로 받고, 해당 공간 위치에서의 부피 밀도와 시점에 따른 방출 빛 강도를 출력하는 완전 연결(비컨벌루션) 딥 네트워크를 사용하여 장면을 표현합니다. 우리는 카메라 광선을 따라 5D 좌표를 쿼리하여 시점을 합성하고, 고전적인 부피 렌더링 기법을 사용하여 출력 색상과 밀도를 이미지로 투영합니다. 부피 렌더링이 자연스럽게 미분 가능하기 때문에, 우리의 표현을 최적화하기 위해 필요한 유일한 입력은 알려진 카메라 포즈를 가진 이미지 집합입니다. 우리는 복잡한 기하학적 구조와 외관을 가진 장면의 사진현실적인 새로운 시점을 렌더링하기 위해 신경 방사장(neural radiance fields)을 효과적으로 최적화하는 방법을 설명하며, 이는 신경 렌더링 및 시점 합성 분야에서 이전 연구보다 우수한 결과를 보여줍니다. 시점 합성 결과는 동영상으로 보았을 때 가장 잘 이해할 수 있으므로, 독자 여러분께 보충 자료로 제공되는 동영상을 확인해 주시기 바랍니다.