NeFII: 근접 필드 간접 조명을 이용한 반사 분해의 역 렌더링

역 렌더링 방법은 다중 시점 RGB 이미지에서 기하학, 재료 및 조명을 추정하는 것을 목표로 합니다. 더 나은 분해를 위해 최근 접근 방식들은 다양한 재료에서 반사된 간접 조명을 구면 가우시안(SG)을 통해 모델링하려고 시도하지만, 이는 고주파 반사 세부 사항을 흐리게 하는 경향이 있습니다. 본 논문에서는 다중 시점 이미지에서 재료와 조명을 분해하면서 근거리 간접 조명을 고려하는 엔드투엔드 역 렌더링 파이프라인을 제안합니다. 요약하자면, 몬테카를로 샘플링 기반의 경로 추적 방법을 도입하여 간접 조명을 신경망 복사도(Neural Radiance)로 캐싱함으로써 물리적으로 충실하고 최적화하기 쉬운 역 렌더링 방법을 제공합니다. 효율성과 실용성을 향상시키기 위해, 우리는 SG를 사용하여 부드러운 환경 조명을 표현하고 중요도 샘플링 기술을 적용합니다. 관찰되지 않은 방향에서의 간접 조명 감독을 위해, 우리는 관찰되지 않은 광선의 경로 추적 결과와 신경망 복사도 사이의 새로운 복사도 일관성 제약 조건을 개발하였으며, 이를 통해 재료와 조명의 공동 최적화가 이루어져 분해 성능이 크게 향상되었습니다. 광범위한 실험 결과는 우리의 방법이 여러 합성 및 실제 데이터셋에서 기존 최신 연구보다 우수하며, 특히 상호 반사 분해 측면에서 더욱 뛰어나다는 것을 보여줍니다. 우리의 코드와 데이터는 https://woolseyyy.github.io/nefii/ 에서 확인할 수 있습니다.