Fantasia3D: Geometrie und Erscheinungsbild entkoppeln für die Erstellung hochwertiger Text-zu-3D-Inhalte

Die automatische Erstellung von 3D-Inhalten hat in letzter Zeit rapide Fortschritte gemacht, dank der Verfügbarkeit vortrainierter, großer Sprachmodelle und Bild-Diffusionsmodelle, was zu dem aufkommenden Forschungsfeld der Text-zu-3D-Inhaltsgenerierung geführt hat. Bestehende Text-zu-3D-Methoden verwenden häufig implizite Szenendarstellungen, die Geometrie und Erscheinungsbild über Volumenrendering verknüpfen und hinsichtlich der Wiederherstellung feiner Geometrien sowie der Erreichung photorealistischer Darstellung suboptimal sind; dadurch sind sie weniger effektiv bei der Erzeugung hochwertiger 3D-Assets. In dieser Arbeit präsentieren wir eine neue Methode namens Fantasia3D für die Erstellung hochwertiger 3D-Inhalte aus Text. Kernstück von Fantasia3D ist die entkoppelte Modellierung und Lernung von Geometrie und Erscheinungsbild. Bei der Geometrielernung setzen wir auf eine hybride Szenendarstellung und schlagen vor, die von dieser Darstellung extrahierten Oberflächennormalen als Eingabe für das Bild-Diffusionsmodell zu verwenden. Für die Erscheinungsbildmodellierung führen wir eine räumlich variierende bidirektionale Reflexionsverteilungsfunktion (BRDF) in die Text-zu-3D-Aufgabe ein und lernen die Oberflächenmaterialien, um eine photorealistische Darstellung der generierten Oberfläche zu ermöglichen. Unser entkoppeltes Framework ist besser mit gängigen Grafik-Engines kompatibel und unterstützt Relighting, Bearbeitung sowie physikalische Simulation der generierten 3D-Assets. Wir führen umfassende Experimente durch, die die Vorteile unserer Methode gegenüber bestehenden Ansätzen unter verschiedenen Text-zu-3D-Aufgaben-Szenarien belegen. Projektseite und Quellcode: https://fantasia3d.github.io/.