Yueming Pan Ruoyu Feng Qi Dai Yuqi Wang Wenfeng Lin Mingyu Guo Chong Luo Nanning Zheng

要約
潜在拡散モデル(Latent Diffusion Models, LDMs)は本質的に粗いものから細かいものへと生成するプロセスに従い、高レベルの意味構造が細部のテクスチャよりもわずかに早く生成される。この事実から、前段階の意味情報がテクスチャ生成において意味的基準(semantic anchor)として機能し、その品質向上に寄与する可能性が示唆される。近年の研究では、事前学習済みの視覚エンコーダから得られる意味的事前知識(semantic prior)をLDMに統合することで性能が向上しているが、これらの手法は依然として意味情報とVAEによって符号化されたテクスチャ情報を同時にノイズ除去しており、上述の時間的順序性を無視している。このような点に着目し、本研究では「意味優先拡散(Semantic-First Diffusion, SFD)」という新たな潜在拡散フレームワークを提案する。SFDは、意味形成を明示的に優先する設計を採用しており、まず、専用の意味VAE(Semantic VAE)を介して事前学習済み視覚エンコーダから抽出されたコンパクトな意味潜在変数と、テクスチャ潜在変数を組み合わせて複合潜在変数を構築する。SFDの核となるのは、意味潜在変数とテクスチャ潜在変数を別々のノイズスケジュールを用いて非同期にノイズ除去することである。具体的には、意味情報のノイズ除去をテクスチャのそれよりも時間的に先行させることで、テクスチャの精緻化に明確な高レベルなガイドラインを提供し、自然な粗から細への生成プロセスを実現する。ImageNet 256×256の設定において、ガイド付き生成条件下でSFDはFID 1.06(LightningDiT-XL)およびFID 1.04(1.0B LightningDiT-XXL)を達成し、従来のDiTモデルと比較して最大100倍の高速収束を実現した。また、ReDiやVA-VAEといった既存手法に対しても性能向上を示しており、非同期的かつ意味情報主導のモデリング戦略の有効性を実証した。プロジェクトページおよびコード:https://yuemingpan.github.io/SFD.github.io/