Triangulare 3D-Modelle, Materialien und Beleuchtung aus Bildern extrahieren

Wir präsentieren eine effiziente Methode zur gemeinsamen Optimierung von Topologie, Materialien und Beleuchtung auf Basis von multiview-Bildbeobachtungen. Im Gegensatz zu aktuellen Ansätzen der multiview-Rekonstruktion, die in der Regel verflochtene 3D-Darstellungen in neuronalen Netzen kodieren, erzeugen wir Dreiecksgitter mit räumlich variierenden Materialien und Umgebungsbeleuchtung, die in jedem traditionellen Grafik-Engine unverändert eingesetzt werden können. Wir nutzen jüngste Arbeiten im Bereich der differenzierbaren Rendering-Techniken, koordinatenbasierte Netzwerke zur kompakten Darstellung volumnetrischer Texturierung sowie das differenzierbare Marching Tetrahedron-Verfahren, um eine gradientenbasierte Optimierung direkt auf dem Oberflächengitter zu ermöglichen. Schließlich führen wir eine differenzierbare Formulierung der Split-Sum-Approximation der Umgebungsbeleuchtung ein, um alle Frequenzen der Beleuchtung effizient wiederherzustellen. Experimente zeigen, dass unsere extrahierten Modelle für fortgeschrittene Szenebearbeitung, Materialzerlegung und hochwertige Sichtinterpolation verwendet werden können, wobei alle Prozesse interaktive Raten in dreiecksbasierten Renderern (Rasterisierer und Pfadverfolger) erreichen. Projektwebsite: https://nvlabs.github.io/nvdiffrec/ .