レイアウト制御フレームワーク InstanceAssemble
InstanceAssembleのコンセプトは、2025年9月に復旦大学と小紅書の研究チームによって提案され、関連する研究成果が論文として発表されました。 InstanceAssemble: インスタンスアセンブルによるレイアウトを考慮した画像生成NeurIPS 2025に選定されました。
InstanceAssembleは、レイアウトから画像を生成するための新しいアプローチです。グローバルなテキストヒントとレイアウト条件を順次処理することで、独立したアテンションメカニズムによって複雑なレイアウトを堅牢に処理します。インスタンスアセンブルされたアテンションメカニズムを介してレイアウト条件を統合することで、このフレームワークはバウンディングボックス(bbox)ベースの位置制御と、テキストや追加のビジュアルコンテンツを含むマルチモーダルなコンテンツ制御を可能にします。この手法は、軽量なLoRAモジュールを介して、既存のDiTベースのT2Iモデルへの柔軟な適応を実現します。
