Mip-NeRF 360: Unbeschränkte anti-aliasing Neural Radiance Fields

Obwohl neuronale Strahlungsfelder (NeRF) beeindruckende Ergebnisse bei der Ansichtssynthese von Objekten und kleinen, begrenzten Raumbereichen erzielt haben, erweisen sie sich bei „unbeschränkten“ Szenen als problematisch, bei denen die Kamera in beliebige Richtungen zeigen und Inhalt in beliebiger Entfernung vorhanden sein kann. In diesem Kontext produzieren bestehende NeRF-ähnliche Modelle häufig verschwommene oder niedrigauflösende Darstellungen (aufgrund der ungleichmäßigen Detailgenauigkeit und Skalierung von nahen und fernen Objekten), sind langsam im Training und können Artefakte aufweisen, die auf die inhärente Unbestimmtheit der Aufgabe zurückzuführen sind, eine große Szene aus einer kleinen Menge an Bildern zu rekonstruieren. Wir präsentieren eine Erweiterung von mip-NeRF (eine NeRF-Variante, die Sampling- und Aliasing-Probleme adressiert), die eine nichtlineare Szenen-Parameterisierung, Online-Distillation und einen neuartigen, auf Verzerrung basierenden Regularisator nutzt, um den Herausforderungen unbeschränkter Szenen zu begegnen. Unser Modell, das wir aufgrund des Fokus auf Szenen, bei denen die Kamera sich um einen Punkt um 360 Grad dreht, als „mip-NeRF 360“ bezeichnen, reduziert die mittlere quadratische Abweichung im Vergleich zu mip-NeRF um 57 % und ist in der Lage, realistische synthetische Ansichten sowie detaillierte Tiefenkarten für äußerst komplexe, unbeschränkte reale Szenen zu erzeugen.