Nous présentons PhySG, un pipeline de rendu inverse complet qui inclut un rendu entièrement différentiable et permet de reconstruire la géométrie, les matériaux et l'éclairage à partir de zéro à partir d'un ensemble d'images RGB en entrée. Notre cadre représente les BRDF spéculaires et l'éclairage environnemental à l'aide de mélanges de Gaussiennes sphériques, et modélise la géométrie par une fonction de distance signée paramétrée sous forme de Perceptron multicouche (Multi-Layer Perceptron). L'utilisation de Gaussiennes sphériques nous permet de résoudre efficacement le transport lumineux approximatif, et notre méthode s'applique à des scènes présentant des réflectances non-Lambertiennes complexes capturées sous éclairage naturel et statique. Nous démontrons, à l'aide de données synthétiques et réelles, que nos reconstructions ne seulement permettent le rendu de nouvelles vues, mais aussi l'édition basée sur la physique des apparences des matériaux et de l'éclairage.