GENIE: Gaussian Encoding für die interaktive Bearbeitung von Neural Radiance Fields

Neuronale Strahlungsfelder (Neural Radiance Fields, NeRF) und Gaussian Splatting (GS) haben in jüngster Zeit die Darstellung und Darstellung dreidimensionaler Szenen erheblich verändert. NeRF erreicht eine hochauflösende Synthese neuer Ansichten durch die Lernung volumetrischer Darstellungen mittels neuronalen Netzwerken, wobei die implizite Kodierung jedoch die Bearbeitung und physische Interaktion erschwert. Im Gegensatz dazu repräsentiert GS Szenen als explizite Sammlung von Gauß-Primitiven, was Echtzeit-Rendering, schnellere Trainingszeiten und intuitivere Manipulation ermöglicht. Diese explizite Struktur macht GS besonders gut geeignet für interaktive Bearbeitung und die Integration in physikbasierte Simulationen. In diesem Artikel stellen wir GENIE (Gaussian Encoding for Neural Radiance Fields Interactive Editing) vor, ein hybrides Modell, das die fotorealistische Rendering-Qualität von NeRF mit der bearbeitbaren und strukturierten Darstellung von GS verbindet. Anstelle der klassischen Verwendung von Kugelharmonischen zur Modellierung der Erscheinung weisen wir jeder Gauß-Primitiven einen lernbaren Merkmals-Embedding zu. Diese Embeddings dienen dazu, ein NeRF-Netzwerk basierend auf den k nächsten Gaussians zu jedem Abfragepunkt zu konditionieren. Um diese Konditionierung effizient zu gestalten, führen wir Ray-Traced Gaussian Proximity Search (RT-GPS) ein – eine schnelle Suche nach den nächsten Gaussians, die auf einer modifizierten Ray-Tracing-Pipeline basiert. Zudem integrieren wir ein mehrskaliges Hash-Grid zur Initialisierung und Aktualisierung der Gauß-Merkmale. Zusammen ermöglichen diese Komponenten eine Echtzeit-Bearbeitung mit Lokalitätsbewusstsein: Sobald Gauß-Primitiven neu positioniert oder verändert werden, spiegelt sich ihre interpolierte Wirkung unmittelbar im gerenderten Ergebnis wider. Durch die Kombination der Stärken impliziter und expliziter Darstellungen unterstützt GENIE intuitive Szenenmanipulation, dynamische Interaktion und Kompatibilität mit physikbasierten Simulationen und schließt so die Lücke zwischen geometriebasierter Bearbeitung und neuronalen Rendering-Verfahren. Der Quellcode ist unter (https://github.com/MikolajZielinski/genie) verfügbar.