Command Palette
Search for a command to run...
Kiss3DGen: Umfunktionierung von Bild-Diffusionsmodellen zur Generierung von 3D-Assets
Kiss3DGen: Umfunktionierung von Bild-Diffusionsmodellen zur Generierung von 3D-Assets
Jiantao Lin Xin Yang Meixi Chen Yingjie Xu Dongyu Yan Leyi Wu Xinli Xu Lie XU Shunsi Zhang Ying-Cong Chen
Zusammenfassung
Diffusionsmodelle haben bei der Generierung von 2D-Bildern erheblichen Erfolg erzielt. Die Qualität und Generalisierbarkeit der 3D-Inhaltsgenerierung bleibt jedoch weiterhin eingeschränkt. Zustandsbeste Verfahren erfordern oft großskalige 3D-Ressourcen für das Training, die schwer zu sammeln sind. In dieser Arbeit stellen wir Kiss3DGen (Keep It Simple and Straightforward in 3D Generation) vor, einen effizienten Rahmen für die Generierung, Bearbeitung und Verbesserung von 3D-Objekten, der ein gut trainiertes 2D-Bild-Diffusionsmodell zur 3D-Generierung neu nutzt. Konkret feinjustieren wir ein Diffusionsmodell, um sogenannte „3D-Bündelbilder“ zu generieren – eine geflächerte Darstellung aus mehreren Ansichten und ihren entsprechenden Normalenkarten. Diese Normalenkarten dienen anschließend zur Rekonstruktion eines 3D-Meshes, während die Mehransichtsbilder die Texturabbildung liefern und so ein vollständiges 3D-Modell erzeugen. Diese einfache Methode transformiert das Problem der 3D-Generierung effektiv in eine Aufgabe der 2D-Bildgenerierung und nutzt so das in vortrainierten Diffusionsmodellen enthaltene Wissen optimal aus. Zudem zeigen wir, dass unser Kiss3DGen-Modell mit verschiedenen Techniken für Diffusionsmodelle kompatibel ist und dadurch fortgeschrittene Funktionen wie 3D-Bearbeitung, Mesh- und Texturverbesserung ermöglicht. Anhand umfangreicher Experimente demonstrieren wir die Wirksamkeit unseres Ansatzes und belegen seine Fähigkeit, hochwertige 3D-Modelle effizient zu erzeugen.