NeFII : Rendu inverse pour la décomposition de réflectance avec l'éclairage indirect proche

Les méthodes de rendu inverse visent à estimer la géométrie, les matériaux et l'éclairage à partir d'images RGB multi-vues. Pour améliorer la décomposition, les approches récentes tentent de modéliser les éclairages indirects reflétés par différents matériaux via des Gaussiennes sphériques (SG), ce qui tend cependant à flouter les détails de réflexion à haute fréquence. Dans cet article, nous proposons une pipeline de rendu inverse de bout en bout qui décompose les matériaux et l'éclairage à partir d'images multi-vues, tout en prenant en compte l'éclairage indirect proche. En bref, nous introduisons le traçage de rayons basé sur l'échantillonnage de Monte Carlo et stockons l'éclairage indirect sous forme de radiance neuronale, permettant ainsi une méthode de rendu inverse fidèle aux lois physiques et facile à optimiser. Pour améliorer l'efficacité et la praticité, nous utilisons des Gaussiennes sphériques (SG) pour représenter les éclairages environnementaux lisses et appliquons des techniques d'échantillonnage pondéré. Pour superviser les éclairages indirects provenant de directions non observées, nous développons une nouvelle contrainte de cohérence de radiance entre la radiance neuronale implicite et les résultats du traçage de rayons non observés, associée à l'optimisation conjointe des matériaux et des éclairages, ce qui améliore considérablement les performances de décomposition. De nombreux expériences montrent que notre méthode surpassent l'état de l'art sur plusieurs jeux de données synthétiques et réels, notamment en termes de décomposition des inter-réflexions. Notre code et nos données sont disponibles à l'adresse suivante : https://woolseyyy.github.io/nefii/.