NeFII: Inverse Rendering für die Reflektanzzerlegung mit Nahfeld-indirekter Beleuchtung

Inverse Rendering-Methoden zielen darauf ab, Geometrie, Materialien und Beleuchtung aus multiview-RGB-Bildern zu schätzen. Um eine bessere Zerlegung zu erreichen, versuchen aktuelle Ansätze, indirekte Beleuchtungen, die von verschiedenen Materialien reflektiert werden, durch Sphärische Gaußsche Verteilungen (SG) zu modellieren. Dies neigt jedoch dazu, die hochfrequenten Reflexionsdetails zu verwischen. In dieser Arbeit schlagen wir einen end-to-end-Inverse-Rendering-Pipeline vor, die Materialien und Beleuchtung aus multiview-Bildern zerlegt, wobei nahefeldindirekte Beleuchtung berücksichtigt wird. Kurz gesagt, führen wir Pfadverfolgung basierend auf Monte-Carlo-Abtastung ein und speichern die indirekte Beleuchtung als neurale Strahlungsintensität. Dies ermöglicht eine physikalisch korrekte und leicht optimierbare Inverse-Rendering-Methode. Um Effizienz und Praktikabilität zu steigern, nutzen wir SG zur Darstellung der glatten Umgebungsbeleuchtungen und wenden Importance-Sampling-Techniken an. Um indirekte Beleuchtungen aus unbeobachteten Richtungen zu überwachen, entwickeln wir eine neuartige Strahlungsintensitätskonsistenzbedingung zwischen impliziter neuraler Strahlungsintensität und den Pfadverfolgungsergebnissen unbeobachteter Strahlen zusammen mit der gemeinsamen Optimierung von Materialien und Beleuchtungen. Dies verbessert die Zerlegungsleistung erheblich. Ausführliche Experimente zeigen, dass unsere Methode den aktuellen Stand der Technik bei mehreren synthetischen und realen Datensätzen übertrifft, insbesondere in puncto Zerlegung von Interreflexionen. Unser Code und unsere Daten sind unter https://woolseyyy.github.io/nefii/ verfügbar.