HyperAIHyperAI

Command Palette

Search for a command to run...

Triangulare 3D-Modelle, Materialien und Beleuchtung aus Bildern extrahieren

Jacob Munkberg Jon Hasselgren Tianchang Shen Jun Gao Wenzheng Chen Alex Evans Thomas Müller Sanja Fidler

Zusammenfassung

Wir präsentieren eine effiziente Methode zur gemeinsamen Optimierung von Topologie, Materialien und Beleuchtung auf Basis von multiview-Bildbeobachtungen. Im Gegensatz zu aktuellen Ansätzen der multiview-Rekonstruktion, die in der Regel verflochtene 3D-Darstellungen in neuronalen Netzen kodieren, erzeugen wir Dreiecksgitter mit räumlich variierenden Materialien und Umgebungsbeleuchtung, die in jedem traditionellen Grafik-Engine unverändert eingesetzt werden können. Wir nutzen jüngste Arbeiten im Bereich der differenzierbaren Rendering-Techniken, koordinatenbasierte Netzwerke zur kompakten Darstellung volumnetrischer Texturierung sowie das differenzierbare Marching Tetrahedron-Verfahren, um eine gradientenbasierte Optimierung direkt auf dem Oberflächengitter zu ermöglichen. Schließlich führen wir eine differenzierbare Formulierung der Split-Sum-Approximation der Umgebungsbeleuchtung ein, um alle Frequenzen der Beleuchtung effizient wiederherzustellen. Experimente zeigen, dass unsere extrahierten Modelle für fortgeschrittene Szenebearbeitung, Materialzerlegung und hochwertige Sichtinterpolation verwendet werden können, wobei alle Prozesse interaktive Raten in dreiecksbasierten Renderern (Rasterisierer und Pfadverfolger) erreichen. Projektwebsite: https://nvlabs.github.io/nvdiffrec/ .


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp