Neurale PBIR-Rekonstruktion von Form, Material und Beleuchtung

Die Rekonstruktion der Form und des räumlich variierenden Oberflächenaspekts eines realen Objekts sowie seiner umgebenden Beleuchtung auf Basis von 2D-Bildern (z.B. Fotografien) des Objekts ist seit langem ein Problem im Bereich der Computer Vision und Computergrafik. In dieser Arbeit stellen wir einen genauen und hoch effizienten Rekonstruktionsprozess vor, der neuronale Objektrekonstruktion und physikbasierte inverse Rendering (PBIR) kombiniert. Unser Prozess nutzt zunächst eine neurale SDF-basierte Formrekonstruktion, um eine hochwertige, aber potentiell unvollkommene Objektform zu erzeugen. Anschließend führen wir eine Stufe zur neuronalen Material- und Beleuchtungsdestillierung ein, um hochwertige Vorhersagen für Material und Beleuchtung zu erreichen. Im letzten Schritt, initialisiert durch die neuronalen Vorhersagen, führen wir PBIR durch, um die anfänglichen Ergebnisse zu verfeinern und die endgültige hochwertige Rekonstruktion von Objektform, Material und Beleuchtung zu erhalten. Experimentelle Ergebnisse zeigen, dass unser Prozess sowohl hinsichtlich der Qualität als auch der Leistungsfähigkeit signifikant bestehende Methoden übertrifft.