Décomposition de la forme, de l'éclairage et du matériau à partir d'images en utilisant le rendu Monte Carlo et le débruitage

Les récentes avancées dans le rendu différentiable ont permis une reconstruction de haute qualité des scènes 3D à partir d'images multi-vues. La plupart des méthodes s'appuient sur des algorithmes de rendu simples : éclairage direct pré-filtré ou représentations apprises de l'irradiance. Nous montrons qu'un modèle d'ombrage plus réaliste, intégrant le traçage de rayons et l'intégration par Monte Carlo, améliore considérablement la décomposition en forme, matériaux et éclairage. Malheureusement, l'intégration par Monte Carlo fournit des estimations bruyantes, même pour un grand nombre d'échantillons, ce qui rend le rendu inverse basé sur les gradients très difficile. Pour remédier à cela, nous intégrons l'échantillonnage par importance multiple et le débruitage dans un nouveau pipeline de rendu inverse. Cela améliore considérablement la convergence et permet l'optimisation basée sur les gradients avec un faible nombre d'échantillons. Nous présentons une méthode efficace pour reconstruire conjointement la géométrie (maillages triangulaires explicites), les matériaux et l'éclairage, ce qui améliore considérablement la séparation des matériaux et de l'éclairage par rapport aux travaux précédents. Nous soutenons que le débruitage peut devenir une partie intégrante des pipelines de rendu inverse de haute qualité.