Hunyuan-DiT: Ein leistungsstarker Diffusionstransformator mit mehreren Auflösungen und ein feinkörniges chinesisches Verständnismodell

Bei diesem Modell handelt es sich um die erste zweisprachige chinesisch-englische DiT-Architektur, ein Text-zu-Bild-Generierungsmodell auf Basis des Diffusion-Transformators, das über feinkörnige Verständnisfähigkeiten in Chinesisch und Englisch verfügt. Um Hunyuan DiT zu erstellen, hat das Forschungsteam die Transformer-Struktur, den Textcodierer und die Positionscodierung sorgfältig neu gestaltet. Zur Aktualisierung und Auswertung der Daten wurde eine vollständige Datenpipeline erstellt, die Unterstützung bei Iterationen der Modelloptimierung bietet. Um ein detailliertes Textverständnis zu erreichen, wurde in diesem Projekt ein multimodales Großsprachenmodell trainiert, um die Textbeschreibung von Bildern zu optimieren. Letztendlich ist Hunyuan DiT in der Lage, mehrere Gesprächsrunden mit Benutzern zu führen und dabei Bilder kontextbezogen zu generieren und zu verfeinern.

🎉 Hauptfunktionen von Hunyuan-DiT

Hunyuan-DiT ist ein Diffusionsmodell im latenten Raum, wie in der folgenden Abbildung dargestellt. Basierend auf dem latenten Diffusionsmodell wird ein vortrainierter Variational Autoencoder (VAE) verwendet, um das Bild in einen niedrigdimensionalen latenten Raum zu komprimieren, und das Diffusionsmodell wird trainiert, um die Datenverteilung zu lernen. Das Diffusionsmodell wird mithilfe eines Transformators parametrisiert. Zum Kodieren von Textaufforderungen nutzt das Modell eine Kombination aus vortrainierten zweisprachigen (Englisch und Chinesisch) CLIP- und mehrsprachigen T5-Kodierern.

Mehrrunden-Textgraphenkonstruktion

Das Verstehen natürlicher Sprachbefehle und die Teilnahme an mehrstufigen Interaktionen mit Benutzern sind für die KI äußerst wichtig. Das Text-zu-Bild-System kann dabei helfen, einen dynamischen, iterativen kreativen Prozess aufzubauen, der die Ideen der Benutzer Schritt für Schritt in die Realität umsetzt. In diesem Abschnitt erläutern wir im Detail, wie Hunyuan-DiT die Fähigkeit erhält, mehrstufige Dialoge und Bilder zu generieren, MLM darin zu trainieren, mehrstufige Benutzerdialoge zu verstehen und neue Textaufforderungen für die Bildgenerierung auszugeben.

Leistung der Modellgenerierung

Lange Texteingabe

📈 Vergleich mit bestehenden Modellen

Um die Generierungsfähigkeiten von HunyuanDiT und anderen Modellen umfassend vergleichen zu können, erstellte das Forschungsteam einen vierdimensionalen Testsatz, bei dem mehr als 50 professionelle Gutachter die Leistung in Bereichen wie Text-Bild-Konsistenz, Ausschluss von KI-Artefakten, Themenklarheit und Ästhetik beurteilten.

Modell	Open Source	Text-Bild-Konsistenz (%)	Ausschluss von KI-Artefakten (%)	Themenklarheit (%)	Ästhetik (%)	Insgesamt (%)
Modell	Open Source	SDXL	✔	64.3	Ästhetik (%)	Insgesamt (%)	60.6	91.1	76.3	42.7
PixArt-α	✔	68.3	60.9	93.2	77.5	45.5
Spielplatz 2.5	✔	71.9	70.8	94.9	83.3	54.3
SD 3	✘	77.1	69.3	94.6	82.5	56.7
MidJourney v6	✘	73.5	80.2	93.5	87.2	63.3
DALL-E 3	✘	83.9	80.3	96.5	89.4	71.0
Hunyuan-DiT	✔	74.2	74.3	95.4	86.6	59.0

Tutorial-Nutzung

1. Klonen und starten Sie den Container

[Hinweis] Da das Modell groß ist, kann es nach dem erfolgreichen Start des Containers etwa 2 bis 3 Minuten dauern, bis das Modell geladen ist und verwendet werden kann.

2. Benutzeroberfläche

Je größer die Anzahl der Abtastschritte, desto besser der Generierungseffekt, desto länger aber auch die Generierungszeit.默认的采样步数生成时间在一分钟左右