HyperAIHyperAI

Command Palette

Search for a command to run...

Fantasia3D: Geometrie und Erscheinungsbild entkoppeln für die Erstellung hochwertiger Text-zu-3D-Inhalte

Rui Chen Yongwei Chen Ningxin Jiao Kui Jia

Zusammenfassung

Die automatische Erstellung von 3D-Inhalten hat in letzter Zeit rapide Fortschritte gemacht, dank der Verfügbarkeit vortrainierter, großer Sprachmodelle und Bild-Diffusionsmodelle, was zu dem aufkommenden Forschungsfeld der Text-zu-3D-Inhaltsgenerierung geführt hat. Bestehende Text-zu-3D-Methoden verwenden häufig implizite Szenendarstellungen, die Geometrie und Erscheinungsbild über Volumenrendering verknüpfen und hinsichtlich der Wiederherstellung feiner Geometrien sowie der Erreichung photorealistischer Darstellung suboptimal sind; dadurch sind sie weniger effektiv bei der Erzeugung hochwertiger 3D-Assets. In dieser Arbeit präsentieren wir eine neue Methode namens Fantasia3D für die Erstellung hochwertiger 3D-Inhalte aus Text. Kernstück von Fantasia3D ist die entkoppelte Modellierung und Lernung von Geometrie und Erscheinungsbild. Bei der Geometrielernung setzen wir auf eine hybride Szenendarstellung und schlagen vor, die von dieser Darstellung extrahierten Oberflächennormalen als Eingabe für das Bild-Diffusionsmodell zu verwenden. Für die Erscheinungsbildmodellierung führen wir eine räumlich variierende bidirektionale Reflexionsverteilungsfunktion (BRDF) in die Text-zu-3D-Aufgabe ein und lernen die Oberflächenmaterialien, um eine photorealistische Darstellung der generierten Oberfläche zu ermöglichen. Unser entkoppeltes Framework ist besser mit gängigen Grafik-Engines kompatibel und unterstützt Relighting, Bearbeitung sowie physikalische Simulation der generierten 3D-Assets. Wir führen umfassende Experimente durch, die die Vorteile unserer Methode gegenüber bestehenden Ansätzen unter verschiedenen Text-zu-3D-Aufgaben-Szenarien belegen. Projektseite und Quellcode: https://fantasia3d.github.io/.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp