TensoRF : Champs de Radiance Tensoriels

Nous présentons TensoRF, une nouvelle approche pour modéliser et reconstruire des champs de rayonnement. Contrairement à NeRF qui utilise exclusivement des réseaux de neurones multicouches (MLP), nous modélisons le champ de rayonnement d'une scène sous la forme d'un tenseur 4D, représentant une grille voxellique 3D avec des caractéristiques multicanal par voxel. Notre idée centrale est de factoriser ce tenseur 4D en plusieurs composants tensoriels compacts de rang faible. Nous montrons que l'application de la décomposition CP traditionnelle — qui factorise les tenseurs en composants de rang un avec des vecteurs compacts — dans notre cadre améliore les performances par rapport à NeRF standard. Pour encore améliorer les performances, nous introduisons une nouvelle décomposition vecteur-matrice (VM) qui relâche les contraintes de rang faible pour deux modes d'un tenseur et factorise les tenseurs en facteurs vectoriels et matriciels compacts. Outre une qualité de rendu supérieure, nos modèles utilisant les décompositions CP et VM entraînent une empreinte mémoire significativement plus faible par rapport aux travaux antérieurs et concomitants qui optimisent directement les caractéristiques par voxel. Expérimentalement, nous démontrons que TensoRF avec décomposition CP atteint une reconstruction rapide (inférieure à 30 minutes) avec une meilleure qualité de rendu et même une taille de modèle plus petite (inférieure à 4 Mo) comparée à NeRF. De plus, TensoRF avec décomposition VM améliore encore davantage la qualité de rendu, surpassant les méthodes précédentes d'état de l'art, tout en réduisant le temps de reconstruction (inférieur à 10 minutes) et en conservant une taille de modèle compacte (inférieure à 75 Mo).