이미지에서 모양, 빛, 및 재료 분해를 위한 몬테카를로 렌더링 및 노이즈 제거

최근 미분 렌더링(differentiable rendering)의 발전으로 다중 시점 이미지에서 3D 장면의 고품질 재구성이 가능해졌습니다. 대부분의 방법은 사전 필터링된 직접 조명(pre-filtered direct lighting)이나 복사량(irradiance)의 학습된 표현을 기반으로 합니다. 우리는 광선 추적(ray tracing)과 몬테카를로 적분(Monte Carlo integration)을 통합한 보다 현실적인シェ딩 모델이 형태, 재료 및 조명의 분해(decomposition into shape, materials & lighting)를 크게 개선시킨다는 것을 보여줍니다. 그러나, 몬테카를로 적분은 큰 샘플 수에서도 여전히 상당한 노이즈를 포함하는 추정치를 제공하여 그래디언트 기반 역방향 렌더링(gradients-based inverse rendering)을 매우 어렵게 만듭니다. 이를 해결하기 위해, 우리는 새로운 역방향 렌더링 파이프라인에서 다중 중요도 샘플링(multiple importance sampling)과 노이즈 제거(denoising)를 통합하였습니다. 이는 수렴성을 크게 향상시키고 작은 샘플 수에서도 그래디언트 기반 최적화가 가능하도록 합니다. 우리는 기하학(명시적 삼각 메시(explicit triangle meshes)), 재료 및 조명을 공동으로 재구성하는 효율적인 방법을 제시하며, 이는 이전 연구보다 재료와 조명의 분리를 크게 개선합니다. 우리는 노이즈 제거가 고품질 역방향 렌더링 파이프라인의 중요한 부분이 될 수 있다고 주장합니다.