GENIE : Encodage Gaussien pour l'Édition Interactive des Champs de Radiance Neuronaux

Les champs de radiance neuronaux (NeRF) et le splatting gaussien (GS) ont récemment révolutionné la représentation et le rendu de scènes 3D. Les NeRF permettent une synthèse de vues nouvelles de haute fidélité en apprenant des représentations volumétriques via des réseaux neuronaux, mais leur encodage implicite rend l’édition et les interactions physiques complexes. À l’inverse, le GS représente les scènes comme des collections explicites de primitives gaussiennes, offrant un rendu en temps réel, une formation plus rapide et une manipulation plus intuitive. Cette structure explicite rend le GS particulièrement adapté à l’édition interactive et à l’intégration avec des simulations basées sur la physique. Dans cet article, nous présentons GENIE (Gaussian Encoding for Neural Radiance Fields Interactive Editing), un modèle hybride qui combine la qualité de rendu photoréaliste des NeRF avec la représentation structurée et éditable du GS. Contrairement à l’utilisation des harmoniques sphériques pour le modèle d’apparence, nous attribuons à chaque gaussienne une embedding fonction d’apparence entraînable. Ces embeddings servent à conditionner un réseau NeRF en fonction des k gaussiennes les plus proches de chaque point de requête. Pour assurer une efficacité computationnelle de cette conditionnalité, nous introduisons RT-GPS (Ray-Traced Gaussian Proximity Search), une recherche rapide des gaussiennes les plus proches basée sur une pipeline de traçage de rayons modifiée. Nous intégrons également une grille à hachage multi-résolution pour initialiser et mettre à jour les caractéristiques des gaussiennes. Grâce à ces composants combinés, GENIE permet une édition en temps réel et sensible à la localité : dès qu’une primitive gaussienne est repositionnée ou modifiée, son influence interpolée est immédiatement reflétée dans le rendu. En combinant les forces des représentations implicites et explicites, GENIE soutient une manipulation intuitive des scènes, une interaction dynamique et une compatibilité avec les simulations physiques, comblant ainsi le fossé entre l’édition basée sur la géométrie et le rendu neuronal. Le code source est disponible à l’adresse suivante : (https://github.com/MikolajZielinski/genie)