Layout-Steuerungsframework InstanceAssemble
Das InstanceAssemble-Konzept wurde im September 2025 von einem Forschungsteam der Fudan-Universität und Xiaohongshu vorgeschlagen, und die entsprechenden Forschungsergebnisse wurden in einem Artikel veröffentlicht. InstanceAssemble: Layoutbewusste Bildgenerierung mittels Instance Assembling AttentionEs wurde für die NeurIPS 2025 ausgewählt.
InstanceAssemble ist ein neuartiger Ansatz zur Layout-zu-Bild-Generierung, der globale Texthinweise und Layoutbedingungen sequenziell verarbeitet und so durch unabhängige Aufmerksamkeitsmechanismen eine robuste Handhabung komplexer Layouts ermöglicht. Durch die Integration von Layoutbedingungen mittels instanzbasierter Aufmerksamkeitsmechanismen ermöglicht dieses Framework die positionsbasierte Steuerung mittels Begrenzungsrahmen (Bounding Boxes, BBoxes) sowie die multimodale Inhaltssteuerung, die Text und zusätzliche visuelle Inhalte umfasst. Die Methode lässt sich durch ein schlankes LoRA-Modul flexibel an bestehende DiT-basierte T2I-Modelle anpassen.

KI mit KI entwickeln
Von der Idee bis zum Start — beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und den besten GPU-Preisen.