HyperAIHyperAI

Command Palette

Search for a command to run...

Latent-NeRF für die formgeleitete Generierung von 3D-Formen und -Textur

Gal Metzer Elad Richardson Or Patashnik Raja Giryes Daniel Cohen-Or

Zusammenfassung

Die textgesteuerte Bildgenerierung hat in den letzten Jahren rasant vorangeschritten und hat maßgebliche Fortschritte in der textgesteuerten Formgenerierung ermöglicht. Kürzlich wurde gezeigt, dass mittels Score-Distillation ein NeRF-Modell erfolgreich mit Textanweisungen zur Generierung eines 3D-Objekts gesteuert werden kann. Wir adaptieren die Score-Distillation auf öffentlich verfügbare und rechenzeit-effiziente Latent-Diffusion-Modelle, die den gesamten Diffusionsprozess in einem kompakten latente Raum eines vortrainierten Autoencoders durchführen. Da NeRFs im Bildraum operieren, würde eine naive Lösung zur Steuerung mit latenter Score-Distillation jeweils eine Kodierung in den latente Raum in jedem Steuerungsschritt erfordern. Stattdessen schlagen wir vor, das NeRF-Modell in den latente Raum zu überführen, was zu einem Latent-NeRF führt. Durch die Analyse unseres Latent-NeRF zeigen wir, dass Text-zu-3D-Modelle zwar beeindruckende Ergebnisse erzielen können, jedoch inhärent ungehindert sind und möglicherweise nicht in der Lage sind, eine spezifische 3D-Struktur gezielt zu leiten oder zu erzwingen. Um die 3D-Generierung gezielt zu unterstützen und zu steuern, schlagen wir vor, unser Latent-NeRF mittels eines Sketch-Shape zu leiten – einer abstrakten Geometrie, die die grobe Struktur des gewünschten Objekts definiert. Anschließend stellen wir Methoden vor, wie solche Einschränkungen direkt in ein Latent-NeRF integriert werden können. Diese einzigartige Kombination aus Text- und Formsteuerung ermöglicht eine erhöhte Kontrolle über den Generierungsprozess. Zudem zeigen wir, dass die latente Score-Distillation erfolgreich direkt auf 3D-Meshes angewendet werden kann. Dies erlaubt die Generierung hochwertiger Texturen auf einer gegebenen Geometrie. Unsere Experimente bestätigen die Wirksamkeit unserer verschiedenen Steuerungsansätze sowie die Effizienz der latenten Rendering-Technik. Die Implementierung ist unter https://github.com/eladrich/latent-nerf verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Latent-NeRF für die formgeleitete Generierung von 3D-Formen und -Textur | Paper | HyperAI