Un est Tout : Pont entre les Architectures de Champs de Radiance Neurale par Distillation Progressive de Volume

Les méthodes Neural Radiance Fields (NeRF) se sont avérées efficaces comme représentations compactes, de haute qualité et polyvalentes pour des scènes 3D, et permettent des tâches ultérieures telles que l’édition, la recherche ou la navigation. Diverses architectures neuronales s’affrontent pour devenir la structure centrale de NeRF, notamment le Multi-Layer Perceptron (MLP) classique, les tenseurs creux, les tenseurs à rang faible, les tables de hachage (hashtables) ainsi que leurs combinaisons. Chacune de ces représentations présente un ensemble spécifique de compromis. Par exemple, les représentations basées sur les tables de hachage permettent un apprentissage et un rendu plus rapides, mais leur manque de signification géométrique claire entrave les tâches ultérieures comme l’édition consciente des relations spatiales. Dans cet article, nous proposons Progressive Volume Distillation (PVD), une méthode systématique de distillation qui permet des conversions arbitraires entre différentes architectures, y compris MLP, tenseurs creux ou à rang faible, tables de hachage et leurs compositions. PVD permet ainsi aux applications ultérieures d’adapter de manière optimale les représentations neuronales à la tâche en question, de manière post hoc. Les conversions sont rapides, car la distillation est progressivement effectuée à différents niveaux de représentations volumiques, du plus superficiel au plus profond. Nous utilisons également un traitement particulier de la densité afin de traiter son problème spécifique d’instabilité numérique. Des preuves empiriques sont présentées pour valider notre méthode sur les jeux de données NeRF-Synthetic, LLFF et TanksAndTemples. Par exemple, grâce à PVD, un modèle NeRF basé sur MLP peut être distillé à partir d’un modèle Instant-NGP basé sur table de hachage à une vitesse 10 à 20 fois plus rapide que l’apprentissage du NeRF original à partir de zéro, tout en atteignant un niveau supérieur de qualité de synthèse. Le code est disponible à l’adresse suivante : https://github.com/megvii-research/AAAI2023-PVD.