HyperAIHyperAI

Command Palette

Search for a command to run...

GENIE : Encodage Gaussien pour l'Édition Interactive des Champs de Radiance Neuronaux

Mikołaj Zieliński Krzysztof Byrski Tomasz Szczepanik Przemysław Spurek

Résumé

Les champs de radiance neuronaux (NeRF) et le splatting gaussien (GS) ont récemment révolutionné la représentation et le rendu de scènes 3D. Les NeRF permettent une synthèse de vues nouvelles de haute fidélité en apprenant des représentations volumétriques via des réseaux neuronaux, mais leur encodage implicite rend l’édition et les interactions physiques complexes. À l’inverse, le GS représente les scènes comme des collections explicites de primitives gaussiennes, offrant un rendu en temps réel, une formation plus rapide et une manipulation plus intuitive. Cette structure explicite rend le GS particulièrement adapté à l’édition interactive et à l’intégration avec des simulations basées sur la physique. Dans cet article, nous présentons GENIE (Gaussian Encoding for Neural Radiance Fields Interactive Editing), un modèle hybride qui combine la qualité de rendu photoréaliste des NeRF avec la représentation structurée et éditable du GS. Contrairement à l’utilisation des harmoniques sphériques pour le modèle d’apparence, nous attribuons à chaque gaussienne une embedding fonction d’apparence entraînable. Ces embeddings servent à conditionner un réseau NeRF en fonction des k gaussiennes les plus proches de chaque point de requête. Pour assurer une efficacité computationnelle de cette conditionnalité, nous introduisons RT-GPS (Ray-Traced Gaussian Proximity Search), une recherche rapide des gaussiennes les plus proches basée sur une pipeline de traçage de rayons modifiée. Nous intégrons également une grille à hachage multi-résolution pour initialiser et mettre à jour les caractéristiques des gaussiennes. Grâce à ces composants combinés, GENIE permet une édition en temps réel et sensible à la localité : dès qu’une primitive gaussienne est repositionnée ou modifiée, son influence interpolée est immédiatement reflétée dans le rendu. En combinant les forces des représentations implicites et explicites, GENIE soutient une manipulation intuitive des scènes, une interaction dynamique et une compatibilité avec les simulations physiques, comblant ainsi le fossé entre l’édition basée sur la géométrie et le rendu neuronal. Le code source est disponible à l’adresse suivante : (https://github.com/MikolajZielinski/genie)


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
GENIE : Encodage Gaussien pour l'Édition Interactive des Champs de Radiance Neuronaux | Articles | HyperAI