NeRF: Szenen als neurale Strahlungsfelder zur Ansichtsynthese darstellen

Wir präsentieren eine Methode, die den Stand der Technik bei der Synthese neuer Ansichten komplexer Szenen erreicht, indem eine zugrunde liegende kontinuierliche volumetrische Szene-Funktion unter Verwendung einer dünn besetzten Menge von Eingangsansichten optimiert wird. Unser Algorithmus stellt eine Szene durch ein vollständig vernetztes (nicht-faltungs-) tiefes Netzwerk dar, dessen Eingabe ein einzelner kontinuierlicher 5D-Koordinatenvektor (räumliche Position $(x,y,z)$ und Betrachtungsrichtung $(θ, ϕ)$) ist und dessen Ausgabe die Volumendichte und die ansichtsabhängige emittierte Strahlung an diesem räumlichen Punkt ist. Wir synthetisieren Ansichten, indem wir entlang von Kamerastrahlen 5D-Koordinaten abfragen und klassische Volumenrendering-Techniken verwenden, um die ausgegebenen Farben und Dichten in ein Bild zu projizieren. Da das Volumenrendering natürlicherweise differenzierbar ist, ist die einzige Eingabe, die zur Optimierung unserer Darstellung erforderlich ist, eine Menge von Bildern mit bekannten Kamerapositionen. Wir beschreiben, wie neurale Strahlungsfelder effektiv optimiert werden können, um photorealistische neue Ansichten von Szenen mit komplizierter Geometrie und Erscheinungsbild zu rendern, und demonstrieren Ergebnisse, die frühere Arbeiten im Bereich des neuronalen Renderings und der Ansichtssynthese übertrumpfen. Die Ergebnisse der Ansichtssynthese sind am besten als Videos betrachtet; daher ermutigen wir Leser, unser Ergänzungsvideo anzusehen, um überzeugende Vergleiche zu sehen.