Extraction de modèles 3D triangulaires, de matériaux et d'éclairage à partir d'images

Nous présentons une méthode efficace pour l'optimisation conjointe de la topologie, des matériaux et de l'éclairage à partir d'observations d'images multivues. Contrairement aux approches récentes de reconstruction multivues, qui produisent généralement des représentations 3D emmêlées encodées dans des réseaux neuronaux, nous générons des maillages triangulaires avec des matériaux variant spatialement et un éclairage environnemental qui peuvent être intégrés sans modification dans n'importe quel moteur graphique traditionnel. Nous tirons parti des travaux récents sur le rendu différentiable, des réseaux basés sur les coordonnées pour représenter de manière compacte le texturage volumétrique, ainsi que du tracé différentiable des tétraèdres pour permettre l'optimisation basée sur les gradients directement sur le maillage de surface. Enfin, nous introduisons une formulation différentiable de l'approximation de la somme séparée de l'éclairage environnemental afin de récupérer efficacement l'éclairage à toutes les fréquences. Les expériences montrent que nos modèles extraits sont utilisés pour l'édition avancée de scènes, la décomposition des matériaux et l'interpolation de vues haute qualité, tous fonctionnant à des taux interactifs dans les moteurs de rendu basés sur les triangles (rasteriseurs et traceurs de rayons). Site web du projet : https://nvlabs.github.io/nvdiffrec/ .