NeRFactor: Neuronale Faktorisierung von Form und Reflexion bei unbekannter Beleuchtung

Wir behandeln das Problem der Wiederherstellung der Form und der räumlich variablen Reflexionseigenschaften eines Objekts aus mehreren Aufnahmen (und deren Kamerapositionen) des von einer unbekannten Beleuchtung bedingten Objekts. Dies ermöglicht die Erstellung neuer Ansichten des Objekts unter beliebigen Umgebungsbeleuchtungen sowie die Bearbeitung seiner Materialien-Eigenschaften. Der Schlüssel zu unserem Ansatz, den wir Neural Radiance Factorization (NeRFactor) nennen, besteht darin, die volumetrische Geometrie eines Neural Radiance Fields (NeRF) [Mildenhall et al. 2020] in eine Oberflächenrepräsentation abzuleiten und dann die Geometrie gemeinsam mit der räumlich variablen Reflexion und der Umgebungsbeleuchtung zu verfeinern. Insbesondere erholt NeRFactor 3D-Neuronale Felder von Oberflächennormalen, Lichtsichtbarkeit, Albedo und Bidirectional Reflectance Distribution Functions (BRDFs) ohne jede Supervision, indem es sich nur auf einen Re-Rendering-Verlust, einfache Glättungspriors und ein datengestütztes BRDF-Prior stützt, das aus realen BRDF-Messungen gelernt wurde. Durch die explizite Modellierung der Lichtsichtbarkeit ist NeRFactor in der Lage, Schatten von der Albedo zu trennen und realistische weiche oder harte Schatten unter beliebigen Beleuchtungsbedingungen zu synthetisieren. NeRFactor kann überzeugende 3D-Modelle für freie Ansichtswinkel-Wiederbeleuchtung sowohl in dieser anspruchsvollen und unterbestimmten Erfassungsumgebung als auch für synthetische wie reale Szenen erstellen. Qualitative und quantitative Experimente zeigen, dass NeRFactor bei verschiedenen Aufgaben klassische Methoden und tiefes Lernen-basierte State-of-the-Art-Ansätze übertrifft. Unsere Videos, Code und Daten sind unter people.csail.mit.edu/xiuming/projects/nerfactor/ verfügbar.