One is All: Brückenbildung zwischen Architekturen von Neuralen Strahlungsfeldern durch progressives Volumen-Distillation

Neural Radiance Fields (NeRF)-Methoden haben sich als kompakte, hochwertige und vielseitige Darstellungen dreidimensionaler Szenen bewährt und ermöglichen nachgeschaltete Aufgaben wie Bearbeitung, Retrieval, Navigation usw. Verschiedene neuronale Architekturen konkurrieren um die Rolle der zentralen Struktur in NeRF, darunter einfache Multi-Layer Perceptrons (MLP), spärliche Tensoren, niedrigrangige Tensoren, Hashtables und deren Kombinationen. Jede dieser Darstellungen weist ein spezifisches Spektrum an Kompromissen auf. So erlauben hashtable-basierte Darstellungen beispielsweise schnellere Training- und Rendering-Zeiten, doch ihre fehlende klare geometrische Interpretierbarkeit behindert nachgeschaltete Aufgaben wie räumlich relationsbewusste Bearbeitung. In diesem Artikel präsentieren wir Progressive Volume Distillation (PVD), eine systematische Distanzierungsmethode, die beliebige Umwandlungen zwischen verschiedenen Architekturen ermöglicht, einschließlich MLP, spärlichen oder niedrigrangigen Tensoren, Hashtables und deren Kombinationen. PVD ermöglicht es somit nachgeschalteten Anwendungen, die neuronalen Darstellungen post-hoc optimal an die jeweilige Aufgabe anzupassen. Die Umwandlungen sind schnell, da die Distanzierung schrittweise auf unterschiedlichen Ebenen von Volumendarstellungen von flacheren zu tieferen erfolgt. Zudem wenden wir eine spezielle Behandlung der Dichte an, um deren spezifisches numerisches Instabilitätsproblem zu bewältigen. Empirische Ergebnisse werden auf den Datensätzen NeRF-Synthetic, LLFF und TanksAndTemples vorgestellt, um die Wirksamkeit unserer Methode zu belegen. Beispielsweise kann ein MLP-basierter NeRF-Modell mithilfe von PVD aus einem hashtable-basierten Instant-NGP-Modell mit einer Geschwindigkeit von 10 bis 20 Mal schneller distilliert werden als das ursprüngliche NeRF-Modell von Grund auf neu trainiert werden müsste, wobei gleichzeitig eine überlegene Qualität der Synthese erreicht wird. Der Quellcode ist unter https://github.com/megvii-research/AAAI2023-PVD verfügbar.