MobileNeRF: Ausnutzung der Polygon-Rasterisierungs-Pipeline zur effizienten Neural Field-Rendering auf mobilen Architekturen

Neural Radiance Fields (NeRFs) haben eine beeindruckende Fähigkeit zur Synthese von Bildern dreidimensionaler Szenen aus neuen Perspektiven demonstriert. Allerdings beruhen sie auf spezialisierten volumetrischen Rendering-Algorithmen, die auf Ray Marching basieren und nicht mit den Fähigkeiten der weit verbreiteten Grafik-Hardware kompatibel sind. In dieser Arbeit wird eine neue NeRF-Darstellung vorgestellt, die auf texturierten Polygonen basiert und die effiziente Synthese neuer Bilder mit standardisierten Rendering-Pipelines ermöglicht. Die NeRF wird als Menge von Polygonen mit Texturen dargestellt, die binäre Opazitäten und Merkmalsvektoren repräsentieren. Die traditionelle Rasterisierung der Polygone mit einem Z-Buffer liefert ein Bild, in dem an jedem Pixel Merkmale vorhanden sind, die von einem kleinen, sichtungsabhängigen MLP, der in einem Fragment Shader ausgeführt wird, interpretiert werden, um eine endgültige Pixelfarbe zu erzeugen. Dieser Ansatz ermöglicht es, NeRFs mit der herkömmlichen Polygon-Rasterisierungspipeline zu rendern, die eine enorme Parallelität auf Pixel-Ebene bietet und interaktive Bildraten auf einer Vielzahl von Rechenplattformen erreicht, einschließlich Mobiltelefone.