HyperAIHyperAI

Command Palette

Search for a command to run...

Kiss3DGen: Umfunktionierung von Bild-Diffusionsmodellen zur Generierung von 3D-Assets

Jiantao Lin Xin Yang Meixi Chen Yingjie Xu Dongyu Yan Leyi Wu Xinli Xu Lie XU Shunsi Zhang Ying-Cong Chen

Zusammenfassung

Diffusionsmodelle haben bei der Generierung von 2D-Bildern erheblichen Erfolg erzielt. Die Qualität und Generalisierbarkeit der 3D-Inhaltsgenerierung bleibt jedoch weiterhin eingeschränkt. Zustandsbeste Verfahren erfordern oft großskalige 3D-Ressourcen für das Training, die schwer zu sammeln sind. In dieser Arbeit stellen wir Kiss3DGen (Keep It Simple and Straightforward in 3D Generation) vor, einen effizienten Rahmen für die Generierung, Bearbeitung und Verbesserung von 3D-Objekten, der ein gut trainiertes 2D-Bild-Diffusionsmodell zur 3D-Generierung neu nutzt. Konkret feinjustieren wir ein Diffusionsmodell, um sogenannte „3D-Bündelbilder“ zu generieren – eine geflächerte Darstellung aus mehreren Ansichten und ihren entsprechenden Normalenkarten. Diese Normalenkarten dienen anschließend zur Rekonstruktion eines 3D-Meshes, während die Mehransichtsbilder die Texturabbildung liefern und so ein vollständiges 3D-Modell erzeugen. Diese einfache Methode transformiert das Problem der 3D-Generierung effektiv in eine Aufgabe der 2D-Bildgenerierung und nutzt so das in vortrainierten Diffusionsmodellen enthaltene Wissen optimal aus. Zudem zeigen wir, dass unser Kiss3DGen-Modell mit verschiedenen Techniken für Diffusionsmodelle kompatibel ist und dadurch fortgeschrittene Funktionen wie 3D-Bearbeitung, Mesh- und Texturverbesserung ermöglicht. Anhand umfangreicher Experimente demonstrieren wir die Wirksamkeit unseres Ansatzes und belegen seine Fähigkeit, hochwertige 3D-Modelle effizient zu erzeugen.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp