HyperAIHyperAI

Command Palette

Search for a command to run...

NeRF: Szenen als neurale Strahlungsfelder zur Ansichtsynthese darstellen

Ben Mildenhall; Pratul P. Srinivasan; Matthew Tancik; Jonathan T. Barron; Ravi Ramamoorthi; Ren Ng

Zusammenfassung

Wir präsentieren eine Methode, die den Stand der Technik bei der Synthese neuer Ansichten komplexer Szenen erreicht, indem eine zugrunde liegende kontinuierliche volumetrische Szene-Funktion unter Verwendung einer dünn besetzten Menge von Eingangsansichten optimiert wird. Unser Algorithmus stellt eine Szene durch ein vollständig vernetztes (nicht-faltungs-) tiefes Netzwerk dar, dessen Eingabe ein einzelner kontinuierlicher 5D-Koordinatenvektor (räumliche Position (x,y,z)(x,y,z)(x,y,z) und Betrachtungsrichtung (θ,ϕ)(θ, ϕ)(θ,ϕ)) ist und dessen Ausgabe die Volumendichte und die ansichtsabhängige emittierte Strahlung an diesem räumlichen Punkt ist. Wir synthetisieren Ansichten, indem wir entlang von Kamerastrahlen 5D-Koordinaten abfragen und klassische Volumenrendering-Techniken verwenden, um die ausgegebenen Farben und Dichten in ein Bild zu projizieren. Da das Volumenrendering natürlicherweise differenzierbar ist, ist die einzige Eingabe, die zur Optimierung unserer Darstellung erforderlich ist, eine Menge von Bildern mit bekannten Kamerapositionen. Wir beschreiben, wie neurale Strahlungsfelder effektiv optimiert werden können, um photorealistische neue Ansichten von Szenen mit komplizierter Geometrie und Erscheinungsbild zu rendern, und demonstrieren Ergebnisse, die frühere Arbeiten im Bereich des neuronalen Renderings und der Ansichtssynthese übertrumpfen. Die Ergebnisse der Ansichtssynthese sind am besten als Videos betrachtet; daher ermutigen wir Leser, unser Ergänzungsvideo anzusehen, um überzeugende Vergleiche zu sehen.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp