NeRFactor: 미지의 조명 하에서 형태와 반사도의 신경망 분해

우리는 하나의 알려지지 않은 조명 조건 아래에서 촬영된 객체의 다중 시점 이미지(그리고 카메라 자세)를 사용하여 객체의 형태와 공간적으로 변하는 반사율을 복원하는 문제를 다룹니다. 이는 임의의 환경 조명 하에서 객체의 새로운 시점을 렌더링하고 객체의 재질 속성을 편집할 수 있게 합니다. 우리의 접근 방식인 Neural Radiance Factorization (NeRFactor)의 핵심은 객체의 Neural Radiance Field (NeRF) [Mildenhall 등, 2020] 표현에서 부피 기하학을 표면 표현으로 추출한 후, 공간적으로 변하는 반사율과 환경 조명을 해결하면서 기하학을 공동으로 세부적으로 수정하는 것입니다. 구체적으로, NeRFactor는 감독 없이 재렌더링 손실, 간단한 매끄러움 사전 정보, 그리고 실제 세계 BRDF 측정값에서 학습된 데이터 주도형 BRDF 사전 정보만을 사용하여 표면 법선, 광 가시성, 알베도, 및 양방향 반사 분포 함수(BRDFs)의 3D 신경 필드를 복원합니다. 광 가시성을 명시적으로 모델링함으로써 NeRFactor는 알베도와 그림자를 분리하고 임의의 조명 조건 하에서 실제적인 부드럽거나 단단한 그림자를 합성할 수 있습니다. NeRFactor는 합성 및 실제 장면 모두에서 이러한 도전적이고 제약이 많은 캡처 설정에서도 자유롭게 관찰 가능한 시점에서 재조명하기 위한 설득력 있는 3D 모델을 복원할 수 있습니다. 정성적 및 정량적 실험 결과는 NeRFactor가 다양한 작업에서 고전적인 방법과 딥 러닝 기반 최신 기술을 능가함을 보여줍니다. 우리의 비디오, 코드 및 데이터는 people.csail.mit.edu/xiuming/projects/nerfactor/ 에서 확인할 수 있습니다.