要約

我々は、テキストから画像生成（T2I）合成、画像編集、複数画像の構成を一つのフレームワーク内で統合する、効率的かつ高性能なマルチモーダル画像生成システム「Seedream 4.0」を紹介する。本システムでは、強力なVAEを備えた高効率な拡散変換器（diffusion transformer）を構築し、画像トークンの数を大幅に削減できる。これにより、モデルの効率的な学習が可能となり、ネイティブな高解像度画像（例：1K～4K）の高速生成を実現している。Seedream 4.0は、多様な分類体系および知識中心の概念をカバーする数十億のテキスト-画像ペアを用いて事前学習されている。数百の専門的シナリオにわたる包括的なデータ収集と、最適化された学習戦略の組み合わせにより、安定的かつ大規模な学習が可能となり、優れた汎化性能を発揮する。さらに、精緻にファインチューニングされたVLM（視覚言語モデル）を導入し、T2I生成と画像編集の両タスクを統合的に学習するマルチモーダル後学習を実施している。推論の高速化のため、敵対的蒸留（adversarial distillation）、分布マッチング、量子化、および予測的デコード（speculative decoding）を統合的に採用しており、2K解像度の画像生成において、最大で1.8秒という高速な推論時間を達成している（LLM/VLMをPEモデルとして用いない場合）。包括的な評価結果から、Seedream 4.0はT2Iおよびマルチモーダル画像編集の両面で最先端の性能を達成していることが明らかになった。特に、精密な画像編集や文脈内推論（in-context reasoning）といった複雑なタスクにおいて優れたマルチモーダル能力を発揮し、複数画像の参照も可能で、複数の出力画像を生成することができる。これにより、従来のT2Iシステムは、よりインタラクティブで多次元的なクリエイティブツールへと進化し、生成AIの創造性およびプロフェッショナル応用における限界を拡張している。Seedream 4.0は現在、https://www.volcengine.com/experience/ark?launch=seedream にて利用可能である。