NeRFactor : Factorisation neuronale de la forme et du reflet sous éclairage inconnu

Nous abordons le problème de la restitution de la forme et de la réflectance spatialement variable d'un objet à partir d'images multivues (et de leurs positions caméra) de l'objet éclairé par une condition d'éclairage inconnue. Cela permet le rendu de nouvelles vues de l'objet sous un éclairage environnemental arbitraire et la modification des propriétés matérielles de l'objet. La clé de notre approche, que nous appelons Neural Radiance Factorization (NeRFactor), est d'extraire la géométrie volumétrique d'une représentation Neural Radiance Field (NeRF) [Mildenhall et al. 2020] de l'objet en une représentation surfacique, puis de raffiner conjointement cette géométrie tout en résolvant pour la réflectance spatialement variable et l'éclairage environnemental. Plus précisément, NeRFactor récupère des champs neuronaux 3D des normales surfaciques, de la visibilité lumineuse, du facteur albédo et des fonctions de distribution bidirectionnelle de réflectance (BRDFs) sans aucune supervision, en utilisant uniquement une perte de re-rendu, des a priori simples de lissage et un a priori BRDF basé sur les données appris à partir de mesures BRDF réelles. En modélisant explicitement la visibilité lumineuse, NeRFactor est capable de séparer les ombres du facteur albédo et de synthétiser des ombres réalistes douces ou dures sous des conditions d'éclairage quelconques. NeRFactor est capable de restituer des modèles 3D convaincants pour le re-lumière en vue libre dans ce dispositif capturé difficile et sous-contraint pour les scènes synthétiques et réelles. Des expériences qualitatives et quantitatives montrent que NeRFactor surpasse les méthodes classiques et basées sur l'apprentissage profond les plus avancées dans diverses tâches. Nos vidéos, code source et données sont disponibles à l'adresse suivante : people.csail.mit.edu/xiuming/projects/nerfactor/.