Tencent Hunyuan3D-1.0: Ein einheitliches Framework für die Konvertierung von Text in 3D und Bild in 3D

1. Einführung in das Tutorial

Hunyuan3D-1.0 ist ein 3D-generatives Diffusionsmodell, das 2024 vom Forschungsteam von Tencent eingeführt wurde. Es umfasst eine leichte Version und eine Standardversion, die beide die Generierung hochwertiger 3D-Assets aus Text- und Bildeingaben unterstützen. Die leichte Version kann 3D-Objekte in etwa 10 Sekunden generieren, während die Standardversion in etwa 25 Sekunden fertig ist. Die Standardversion hat dreimal mehr Parameter als die vereinfachte Version und andere vorhandene Modelle. Der entsprechende technische Bericht istTencent Hunyuan3D-1.0: Ein einheitliches Framework für die Text-zu-3D- und Bild-zu-3D-Generierung".

Das Framework beinhaltet ein Text-zu-Bild-Modell, nämlich Hunyuan-DiT. Hunyuan3D-1.0 ist ein einheitliches Framework, das zur Text-zu-3D- und Bild-zu-3D-Generierung verwendet werden kann. Das Modell verfolgt einen zweistufigen Ansatz zur Generierung von 3D-Assets. In der ersten Phase wird ein Multi-View-Diffusionsmodell verwendet, um in etwa 4 Sekunden effizient Multi-View-RGB-Bilder zu generieren. In der zweiten Phase wird ein Feedforward-Rekonstruktionsmodell eingeführt, das diese Multi-View-Bilder verwendet, um die 3D-Ansicht in etwa 3 Sekunden schnell und genau zu rekonstruieren. Das Modell kann Objekte unterschiedlicher Größenordnung rekonstruieren, von großen Gebäuden bis hin zu kleinen Werkzeugen oder Pflanzen. Seine Leistung bei zwei öffentlichen 3D-Datensätzen – GSO und OmniObject3D – ist besser als die der gängigen Open-Source-Modelle und seine Gesamtfähigkeiten liegen auf international führendem Niveau. Nach der qualitativen und quantitativen mehrdimensionalen Bewertung schnitt Hunyuan3D-1.0 in Bezug auf geometrische Details, Texturdetails, Konsistenz von Textur und Geometrie, 3D-Rationalität und Anweisungskonformität sehr gut ab.

Die Veröffentlichung von Hunyuan3D-1.0 bietet 3D-Erstellern und -Künstlern ein leistungsstarkes Tool, mit dem die Produktion von 3D-Assets automatisiert und die Geschwindigkeit und Generalisierung der 3D-Generierung verbessert werden kann.

Dieses Tutorial ist eine abgespeckte Version von Hunyuan3D-1.0. Es werden 3 Modelle verwendet, damit die Weboberfläche zwei Funktionen umfasst:

Zwei Funktionen:

Bild zu 3D (image_to_3D)
Text zu 3D (text_to_3D)

Drei Modelle:

Hunyuan3D-1/lite Ein kompaktes Modell für die Multi-View-Generierung
Hunyuan3D-1/std Standardmodell zur Multi-View-Generierung
Hunyuan3D-1/svrm Sparse-View-Rekonstruktionsmodell

2. Effektbeispiele

3. Bedienungsschritte

启动容器后等待约 3 分钟（加载模型），点击 API 地址即可进入 Web 界面（否则将会显示 BadGateway）

1. Bild zu 3D (image_to_3d)

选择「Text to 3D」功能，按如下要求输入提示词和进行相关设置
如果需要生成 gif 必须选中「Render gif」，否则不会生成效果。其他功能无需选中

Abbildung 1. Videodemonstration zur Bilderzeugung

2. Text zu 3D (Bild zu Video)

选择「Image to 3D」功能，按如下要求输入提示词和相关设置。
注意：自行上传图像时，请务必保证图片为 n*n 的正方形，否则会出现报错的情况
 如果需要生成 gif 必须选中「Render gif」，否则不会生成效果。其他功能无需选中

Abbildung 2 Videodemonstration zur Bilderzeugung

Austausch und Diskussion

🖌️ Wenn Sie ein hochwertiges Projekt sehen, hinterlassen Sie bitte im Hintergrund eine Nachricht, um es weiterzuempfehlen! Darüber hinaus haben wir auch eine Tutorien-Austauschgruppe ins Leben gerufen. Willkommen, Freunde, scannen Sie den QR-Code und kommentieren Sie [SD-Tutorial], um der Gruppe beizutreten, verschiedene technische Probleme zu besprechen und Anwendungsergebnisse auszutauschen ↓