Abstract

Wir stellen Seedream 4.0 vor, ein leistungsfähiges und effizientes multimodales Bildgenerierungssystem, das die Synthese von Text-zu-Bild (T2I), Bildbearbeitung und Mehrbildzusammenstellung innerhalb eines einzigen Rahmens vereint. Wir entwickeln einen hocheffizienten Diffusions-Transformer mit einem leistungsstarken VAE, der zudem die Anzahl der Bild-Token erheblich reduzieren kann. Dadurch wird eine effiziente Modelltrainingsmöglichkeit ermöglicht, und es wird eine schnelle Generierung nativer Hochauflösungsbilder (z. B. 1K–4K) möglich. Seedream 4.0 wurde auf Milliarden von Text-Bild-Paaren vortrainiert, die sich über vielfältige Taxonomien und wissenszentrierte Konzepte erstrecken. Durch umfassende Datensammlung über Hunderte spezialisierter Anwendungsszenarien sowie optimierte Trainingsstrategien wird eine stabile und skalierbare Trainingsdurchführung mit hervorragender Generalisierungsfähigkeit gewährleistet. Durch die Integration eines sorgfältig feinabgestimmten VLM-Modells führen wir eine multimodale Nachtrainingsphase durch, bei der T2I- und Bildbearbeitungsaufgaben gemeinsam trainiert werden. Zur Beschleunigung der Inferenz integrieren wir adversariales Distillation, Verteilungsausgleich sowie Quantisierung sowie spekulative Dekodierung. Damit erreicht das System eine Inferenzzeit von bis zu 1,8 Sekunden für die Generierung eines 2K-Bildes (ohne LLM/VLM als PE-Modell). Umfassende Evaluierungen zeigen, dass Seedream 4.0 sowohl bei T2I- als auch bei multimodaler Bildbearbeitung Ergebnisse auf State-of-the-Art-Niveau erzielt. Insbesondere zeichnet sich das Modell durch außergewöhnliche multimodale Fähigkeiten bei komplexen Aufgaben aus, wie präziser Bildbearbeitung und kontextbasierter Schlussfolgerung, sowie durch die Unterstützung mehrerer Referenzbilder und die Generierung mehrerer Ausgabebilder. Dies erweitert traditionelle T2I-Systeme zu einem interaktiveren und multidimensionalen kreativen Werkzeug und erweitert die Grenzen generativer KI sowohl im kreativen als auch im professionellen Anwendungsbereich. Seedream 4.0 ist ab sofort über https://www.volcengine.com/experience/ark?launch=seedream verfügbar.