NeRD: 이미지 컬렉션에서의 신경망 반사 분해

장면을 형태, 반사율, 조명으로 분해하는 것은 컴퓨터 비전과 그래픽스에서 어려운 하지만 중요한 문제입니다. 이 문제는 실험실 조건에서 단일 조명원이 아닌 제약 없는 환경 조명일 때 더욱 어려워집니다. 최근 연구에서는 암시적 표현을 사용하여 객체의 라디언스 필드(Radiance Field)를 모델링할 수 있음을 보여주었지만, 대부분의 이러한 기술은 시점 합성에만 사용 가능하며 재조명은 지원하지 않습니다. 또한, 이러한 라디언스 필드를 평가하는 것은 자원과 시간이 많이 소요됩니다. 우리는 물리 기반 렌더링을 사용하여 장면을 공간적으로 변하는 BRDF 재질 속성으로 분해하는 신경망 반사율 분해(Neural Reflectance Decomposition, NeRD) 기법을 제안합니다. 기존 기법과 달리, 우리의 입력 이미지는 다양한 조명 조건 하에서 캡처될 수 있습니다. 또한, 학습된 반사율 볼륨을 새로운 조명으로 실시간 렌더링이 가능한 텍스처 메시로 변환하는 기법도 제안합니다. 우리는 합성 데이터셋과 실제 데이터셋 모두에서 실험을 통해 제안된 접근 방식의 잠재력을 입증하였습니다. 여기서 우리는 이미지 컬렉션으로부터 고품질의 재조명 가능한 3D 자산을 얻는데 성공하였습니다. 데이터셋과 코드는 프로젝트 페이지에서 확인할 수 있습니다: https://markboss.me/publication/2021-nerd/