Reconstruction Neural-PBIR de la forme, du matériau et de l'éclairage

La reconstruction de la forme et des apparences de surface variant spatialement d'un objet du monde physique, ainsi que de son éclairage environnant, à partir d'images 2D (par exemple, des photographies) de l'objet est un problème ancien dans le domaine de la vision par ordinateur et des graphiques. Dans cet article, nous présentons une pipeline de reconstruction d'objets précise et très efficace qui combine la reconstruction d'objets basée sur les réseaux neuronaux et le rendu inverse basé sur la physique (PBIR). Notre pipeline utilise en premier lieu une reconstruction de forme basée sur un réseau neuronal SDF pour produire une forme d'objet de haute qualité mais potentiellement imparfaite. Ensuite, nous introduisons une étape de distillation matérielle et lumineuse neuronale afin d'obtenir des prédictions de haute qualité pour les matériaux et l'éclairage. Dans la dernière étape, initialisée par les prédictions neuronales, nous effectuons le PBIR pour affiner les résultats initiaux et obtenir la reconstruction finale de haute qualité de la forme, du matériau et de l'éclairage de l'objet. Les résultats expérimentaux montrent que notre pipeline surpasse significativement les méthodes existantes tant en termes de qualité que de performance.