未知の照明条件下で多視点画像（およびカメラの位置）から物体の形状と空間変化反射率を回復する問題に取り組んでいます。これにより、任意の環境照明下での物体の新しい視点のレンダリングと、物体の材質特性の編集が可能になります。当手法を Neural Radiance Factorization (NeRFactor) と呼びますが、その鍵は Neural Radiance Field (NeRF) [Mildenhall et al. 2020] の物体表現から体積幾何学を表面表現に抽出し、その後、幾何学と空間変化反射率および環境照明を解く過程で同時に洗練することです。具体的には、NeRFactor は教師なしで再レンダリング損失、単純な滑らかさ制約、および実世界の BRDF 測定値から学習したデータ駆動型 BRDF 制約を使用して、表面法線、光可視性、アルベド、双方向反射分布関数 (Bidirectional Reflectance Distribution Functions: BRDFs) の3次元ニューラルフィールドを回復します。光可視性を明示的にモデル化することで、NeRFactor はアルベドから影を分離し、任意の照明条件下で現実的なソフトシャドウやハードシャドウを合成することができます。NeRFactor は合成シーンと実際のシーン双方において自由視点リライティングのために説得力のある3次元モデルを回復できることを示しています。この課題設定は困難かつ制約が少ないものですが、定性的および定量的な実験結果では NeRFactor が様々なタスクにおいて古典的手法や深層学習ベースの最先端技術を超える性能を発揮することが確認されています。当研究に関するビデオ、コード、データセットは people.csail.mit.edu/xiuming/projects/nerfactor/ にて公開されています。