Neural-PBIR 재구성: 형태, 재질, 조명

물리 세계의 객체의 형태와 공간적으로 변하는 표면 특성 및 그 주변 조명을 해당 객체의 2D 이미지(예: 사진)를 기반으로 재구성하는 것은 컴퓨터 비전과 그래픽스 분야에서 오랫동안 해결되지 않은 문제였습니다. 본 논문에서는 신경망 기반 객체 재구성과 물리학 기반 역 렌더링(PBIR)을 결합한 정확하고 효율적인 객체 재구성 파이프라인을 소개합니다. 우리의 파이프라인은 먼저 신경망 기반 SDF(Signed Distance Function) 형태 재구성을 활용하여 고품질이지만 잠재적으로 불완전한 객체 형태를 생성합니다. 그런 다음, 신경망 기반 재료 및 조명 추출 단계를 도입하여 재료와 조명에 대한 고품질 예측을 달성합니다. 마지막 단계에서는 신경망 예측으로 초기화된 후, PBIR을 수행하여 초기 결과를 개선하고 객체의 형태, 재료, 그리고 조명의 최종 고품질 재구성을 얻습니다. 실험 결과는 우리 파이프라인이 품질과 성능 면에서 기존 방법들을 크게 능가함을 입증합니다.