NeRD: Neuronale Reflexionszerlegung aus Bildsammlungen

Die Zerlegung einer Szene in ihre Form, Reflexionseigenschaften und Beleuchtung ist ein anspruchsvolles, aber wichtiges Problem im Bereich der Computer Vision und Computergrafik. Dieses Problem wird noch schwieriger, wenn die Beleuchtung nicht eine einzelne Lichtquelle unter Laborbedingungen ist, sondern stattdessen eine unbeschränkte Umgebungsbeleuchtung. Obwohl kürzliche Arbeiten gezeigt haben, dass implizite Darstellungen verwendet werden können, um das Strahlungsfeld eines Objekts zu modellieren, ermöglichen die meisten dieser Techniken nur die Synthese von Ansichten und nicht das Umlichtern. Zudem ist die Auswertung dieser Strahlungsfelder ressourcen- und zeitaufwendig. Wir schlagen eine neuronale Reflexionszerlegungstechnik (NeRD) vor, die physikalisch basiertes Rendering verwendet, um die Szene in räumlich variierende BRDF-Material Eigenschaften zu zerlegen. Im Gegensatz zu bestehenden Techniken können unsere Eingabebilder unter verschiedenen Beleuchtungsbedingungen aufgenommen werden. Darüber hinaus schlagen wir Techniken vor, um das gelernte Reflexionsvolumen in ein umlichtbares texturiertes Netz (Mesh) zu konvertieren, was schnelles Echtzeitrendering mit neuen Beleuchtungen ermöglicht. Wir demonstrieren das Potenzial des vorgeschlagenen Ansatzes durch Experimente sowohl mit synthetischen als auch mit realen Datensätzen, bei denen wir hochwertige umlichtbare 3D-Assets aus Bildsammlungen erzeugen können. Die Datensätze und der Code sind auf der Projektseite verfügbar: https://markboss.me/publication/2021-nerd/Anmerkungen:- "BRDF" steht für "Bidirectional Reflectance Distribution Function" (Bidirektionale Reflexionsverteilungsfunktion).- "Umlichtern" (relighting) ist ein Fachbegriff im Bereich der Computergrafik und wurde hier direkt übersetzt.- "Netz" (Mesh) wird oft im Kontext von 3D-Modellen verwendet und ist daher eine passende Übersetzung für "mesh".