PhySG: 物理ベースの材料編集と再照明のための球ガウスによる逆レンダリング

私たちはPhySG（Physics-based Scene Generation）を提案します。これは、完全に微分可能なレンダラを含むエンドツーエンドの逆レンダリングパイプラインであり、一連のRGB入力画像からゼロベースでジオメトリ、マテリアル、照明を再構成することができます。私たちのフレームワークでは、鏡面BRDF（Bidirectional Reflectance Distribution Function）と環境照明を球ガウス混合モデルで表現し、ジオメトリは符号付き距離関数として多層パーセプトロンでパラメータ化しています。球ガウスの使用により、近似光輸送を効率的に解くことができ、当手法は自然かつ静的な照明条件下で撮影された挑戦的な非ランベル反射特性を持つシーンにも対応しています。合成データと実際のデータを使用して示したように、当手法による再構成は新たな視点からのレンダリングだけでなく、マテリアルや照明の物理に基づく外観編集も可能にします。