OmniPSD : Génération de PSD en couches avec Transformer à diffusion
OmniPSD : Génération de PSD en couches avec Transformer à diffusion
Cheng Liu Yiren Song Haofan Wang Mike Zheng Shou

Résumé
Les avancées récentes des modèles de diffusion ont considérablement amélioré la génération et l’édition d’images, mais la génération ou la reconstruction de fichiers PSD multicouches disposant de canaux alpha transparents reste un défi majeur. Nous proposons OmniPSD, un cadre unifié de diffusion fondé sur l’écosystème Flux, permettant à la fois la génération texte-vers-PSD et la décomposition image-vers-PSD grâce à un apprentissage in-context. Pour la génération texte-vers-PSD, OmniPSD organise spatialement plusieurs couches cibles sur une seule toile et apprend leurs relations compositionnelles via une attention spatiale, produisant ainsi des couches sémantiquement cohérentes et structurées hiérarchiquement. Pour la décomposition image-vers-PSD, il effectue une édition itérative in-context, extrayant progressivement et supprimant les composants textuels et les éléments avant-plan afin de reconstruire des couches PSD éditables à partir d’une seule image aplatie. Un modèle VAE-RGBA est utilisé comme module de représentation auxiliaire afin de préserver la transparence sans compromettre l’apprentissage de la structure. Des expériences étendues sur notre nouveau jeu de données multicouches RGBA démontrent que OmniPSD atteint une génération de haute fidélité, une cohérence structurelle et une prise en compte de la transparence, offrant ainsi un nouveau paradigme pour la génération et la décomposition de designs multicouches à l’aide de transformateurs de diffusion.
Construire l'IA avec l'IA
De l'idée au lancement — accélérez votre développement IA avec du co-codage IA gratuit, un environnement prêt à l'emploi et les meilleurs prix GPU.