Cadre De Contrôle De Mise En Page InstanceAssemble
Le concept InstanceAssemble a été proposé en septembre 2025 par une équipe de recherche de l'université Fudan et de Xiaohongshu, et les résultats de recherche correspondants ont été publiés dans un article. InstanceAssemble : Génération d'images prenant en compte la mise en page via l'attention d'assemblage d'instancesIl a été sélectionné pour NeurIPS 2025.
InstanceAssemble est une approche novatrice de génération d'images à partir de mises en page. Elle traite séquentiellement les indications textuelles globales et les conditions de mise en page, assurant ainsi une gestion robuste des mises en page complexes grâce à des mécanismes d'attention indépendants. En intégrant les conditions de mise en page via des mécanismes d'attention assemblés par instance, ce cadre permet un contrôle positionnel basé sur les boîtes englobantes (bbox) et un contrôle multimodal du contenu, incluant du texte et du contenu visuel additionnel. Cette méthode s'adapte avec flexibilité aux modèles T2I existants basés sur DiT grâce à un module LoRA léger.

Construire l'IA avec l'IA
De l'idée au lancement — accélérez votre développement IA avec du co-codage IA gratuit, un environnement prêt à l'emploi et les meilleurs prix GPU.