NeRD : Décomposition de Réflectance Neuronale à partir de Collections d'Images

La décomposition d'une scène en sa forme, son réflectance et son éclairage est un problème difficile mais important en vision par ordinateur et en infographie. Ce problème devient encore plus complexe lorsque l'éclairage n'est pas une seule source lumineuse sous des conditions de laboratoire, mais plutôt un éclairage environnemental non contraint. Bien que des travaux récents aient montré qu'il est possible d'utiliser des représentations implicites pour modéliser le champ de rayonnement d'un objet, la plupart de ces techniques ne permettent que la synthèse de vues et non le re-lighting (relighting). De plus, l'évaluation de ces champs de rayonnement est gourmande en ressources et en temps. Nous proposons une technique de décomposition de réflectance neuronale (NeRD) qui utilise un rendu basé sur la physique pour décomposer la scène en propriétés matérielles BRDF variant spatialement. Contrairement aux techniques existantes, nos images d'entrée peuvent être capturées sous différentes conditions d'éclairage. De plus, nous proposons également des méthodes pour convertir le volume de réflectance appris en un maillage texturé re-lightable, permettant un rendu rapide en temps réel avec des éclairages nouveaux. Nous démontrons le potentiel de notre approche proposée à travers des expériences sur des jeux de données synthétiques et réels, où nous sommes capables d'obtenir des actifs 3D re-lightables de haute qualité à partir de collections d'images. Les jeux de données et le code sont disponibles sur la page du projet : https://markboss.me/publication/2021-nerd/