Latent-NeRF für die formgeleitete Generierung von 3D-Formen und -Textur

Die textgesteuerte Bildgenerierung hat in den letzten Jahren rasant vorangeschritten und hat maßgebliche Fortschritte in der textgesteuerten Formgenerierung ermöglicht. Kürzlich wurde gezeigt, dass mittels Score-Distillation ein NeRF-Modell erfolgreich mit Textanweisungen zur Generierung eines 3D-Objekts gesteuert werden kann. Wir adaptieren die Score-Distillation auf öffentlich verfügbare und rechenzeit-effiziente Latent-Diffusion-Modelle, die den gesamten Diffusionsprozess in einem kompakten latente Raum eines vortrainierten Autoencoders durchführen. Da NeRFs im Bildraum operieren, würde eine naive Lösung zur Steuerung mit latenter Score-Distillation jeweils eine Kodierung in den latente Raum in jedem Steuerungsschritt erfordern. Stattdessen schlagen wir vor, das NeRF-Modell in den latente Raum zu überführen, was zu einem Latent-NeRF führt. Durch die Analyse unseres Latent-NeRF zeigen wir, dass Text-zu-3D-Modelle zwar beeindruckende Ergebnisse erzielen können, jedoch inhärent ungehindert sind und möglicherweise nicht in der Lage sind, eine spezifische 3D-Struktur gezielt zu leiten oder zu erzwingen. Um die 3D-Generierung gezielt zu unterstützen und zu steuern, schlagen wir vor, unser Latent-NeRF mittels eines Sketch-Shape zu leiten – einer abstrakten Geometrie, die die grobe Struktur des gewünschten Objekts definiert. Anschließend stellen wir Methoden vor, wie solche Einschränkungen direkt in ein Latent-NeRF integriert werden können. Diese einzigartige Kombination aus Text- und Formsteuerung ermöglicht eine erhöhte Kontrolle über den Generierungsprozess. Zudem zeigen wir, dass die latente Score-Distillation erfolgreich direkt auf 3D-Meshes angewendet werden kann. Dies erlaubt die Generierung hochwertiger Texturen auf einer gegebenen Geometrie. Unsere Experimente bestätigen die Wirksamkeit unserer verschiedenen Steuerungsansätze sowie die Effizienz der latenten Rendering-Technik. Die Implementierung ist unter https://github.com/eladrich/latent-nerf verfügbar.