HyperAIHyperAI
vor 2 Monaten

TensoRF: Tensorgestützte Strahlungsfelder

Anpei Chen; Zexiang Xu; Andreas Geiger; Jingyi Yu; Hao Su
TensoRF: Tensorgestützte Strahlungsfelder
Abstract

Wir stellen TensoRF vor, einen neuen Ansatz zur Modellierung und Rekonstruktion von Strahlungsfeldern. Im Gegensatz zu NeRF, das ausschließlich MLPs verwendet, modellieren wir das Strahlungsfeld einer Szene als 4D-Tensor, der ein 3D-Voxelgitter mit mehrkanaligen Eigenschaften pro Voxel darstellt. Unser zentrales Konzept besteht darin, den 4D-Szenentensor in mehrere kompakte Tensorkomponenten niedrigen Rangs zu faktorisieren. Wir zeigen, dass die Anwendung der traditionellen CP-Zerlegung – die Tensoren in rang-eins-Komponenten mit kompakten Vektoren faktorisiert – in unserem Framework zu Verbesserungen im Vergleich zum einfachen NeRF führt. Um die Leistung weiter zu steigern, führen wir eine neuartige Vektor-Matrix-(VM)-Zerlegung ein, die die Restriktionen niedrigen Rangs für zwei Modi eines Tensors lockert und Tensoren in kompakte Vektor- und Matrixfaktoren zerlegt. Neben der überlegenen Renderingqualität führen unsere Modelle mit CP- und VM-Zerlegung zu einem erheblich geringeren Speicheraufwand im Vergleich zu früheren und zeitgleichen Arbeiten, die direkt pro-Voxel-Eigenschaften optimieren. In Experimenten zeigen wir, dass TensoRF mit CP-Zerlegung eine schnelle Rekonstruktion (<30 Minuten) mit besserer Renderingqualität und sogar einer kleineren Modellgröße (<4 MB) im Vergleich zu NeRF erreicht. Darüber hinaus verbessert TensoRF mit VM-Zerlegung die Renderingqualität weiter und übertreffen frühere Stand der Technik-Methoden, während es gleichzeitig die Rekonstruktionszeit (<10 Minuten) reduziert und eine kompakte Modellgröße (<75 MB) beibehält.

TensoRF: Tensorgestützte Strahlungsfelder | Neueste Forschungsarbeiten | HyperAI