HyperAIHyperAI

Command Palette

Search for a command to run...

CSD-VAR : Décomposition du contenu et du style dans les modèles autorégressifs visuels

Quang-Binh Nguyen Minh Luu Quang Nguyen Anh Tran Khoi Nguyen

Résumé

La séparation du contenu et du style à partir d'une seule image, connue sous le nom de décomposition contenu-style (CSD), permet la récontextualisation du contenu extrait et la stylisation des styles extraits, offrant une plus grande flexibilité créative dans la synthèse visuelle. Bien que les méthodes de personnalisation récentes aient exploré la décomposition de styles de contenu explicites, elles restent adaptées aux modèles de diffusion. Parallèlement, le Modélisation Autoregressive Visuelle (VAR) est apparue comme une alternative prometteuse avec un paradigme de prédiction à l'échelle suivante, atteignant des performances comparables à celles des modèles de diffusion. Dans cet article, nous explorons VAR comme cadre génératif pour la CSD, en exploitant son processus de génération par échelle pour améliorer la dissociation. À cette fin, nous proposons CSD-VAR, une nouvelle méthode qui introduit trois innovations clés : (1) une stratégie d'optimisation alternée sensible à l'échelle qui aligne les représentations de contenu et de style avec leurs échelles respectives afin d'améliorer la séparation, (2) une méthode de rectification basée sur la décomposition en valeurs singulières (SVD) pour atténuer les fuites de contenu dans les représentations stylistiques, et (3) une mémoire augmentée clé-valeur (K-V) renforçant la préservation de l'identité du contenu. Pour évaluer cette tâche, nous introduisons CSD-100, un jeu de données spécifiquement conçu pour la décomposition contenu-style, présentant divers sujets rendus dans différents styles artistiques. Les expériences montrent que CSD-VAR surpasse les approches précédentes, réalisant une meilleure préservation du contenu et une fidélité stylistique supérieure.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
CSD-VAR : Décomposition du contenu et du style dans les modèles autorégressifs visuels | Articles | HyperAI