PhySG: Inverse Rendering mit Sphärischen Gaußschen Verteilungen für physikbasierte Materialbearbeitung und Neubeleuchtung

Wir präsentieren PhySG, einen end-to-end inversen Rendering-Pipeline, der einen vollständig differenzierbaren Renderer umfasst und in der Lage ist, Geometrie, Materialien und Beleuchtung von Grund auf neu zu rekonstruieren, ausgehend von einer Reihe von RGB-Eingabebildern. Unser Framework stellt spekularische BRDFs (Bidirectional Reflectance Distribution Functions) und Umgebungsbeleuchtung durch Mischungen sphärischer Gaußscher Funktionen dar und modelliert die Geometrie als signierte Distanzfunktion, die als Multi-Layer Perceptron parametrisiert ist. Die Verwendung sphärischer Gaußscher Funktionen ermöglicht es uns, effizient eine approximative Lichttransportlösung zu finden. Unsere Methode funktioniert bei Szenen mit herausfordernden nicht-Lambertischen Reflexionseigenschaften, die unter natürlicher, statischer Beleuchtung aufgenommen wurden. Anhand sowohl synthetischer als auch realer Daten zeigen wir, dass unsere Rekonstruktionen nicht nur das Rendern neuer Betrachtungsperspektiven ermöglichen, sondern auch physikbasierte Erscheinungsänderungen von Materialien und Beleuchtung zulassen.