HyperAIHyperAI

Command Palette

Search for a command to run...

Injection de Style dans les Diffusions : Une Approche Sans Formation pour Adapter les Modèles de Diffusion à Grande Échelle au Transfert de Style

Jiwoo Chung Sangeek Hyun Jae-Pil Heo

Résumé

Malgré les capacités génératives impressionnantes des modèles à diffusion, les méthodes actuelles de transfert de style basées sur ces modèles nécessitent une optimisation au stade de l’inférence (par exemple, une fine-tuning ou une inversion textuelle du style), ce qui est coûteux en temps, ou échouent à exploiter pleinement les capacités génératives des grands modèles à diffusion pré-entraînés. Pour remédier à ces limitations, nous proposons une nouvelle méthode de transfert de style artistique fondée sur un modèle à diffusion à grande échelle pré-entraîné, sans aucune optimisation supplémentaire. Plus précisément, nous manipulons les caractéristiques des couches d’attention auto-associative de manière similaire au fonctionnement de l’attention croisée : au cours du processus de génération, nous substituons les clés et les valeurs associées au contenu par celles provenant de l’image de style. Cette approche présente plusieurs caractéristiques souhaitables pour le transfert de style, notamment : 1) la préservation du contenu en transférant des styles similaires vers des patches d’image similaires, et 2) le transfert du style fondé sur la similarité des textures locales (par exemple, les contours) entre l’image de contenu et l’image de style. En outre, nous introduisons la préservation de la requête (query preservation) et l’ajustement de la température de l’attention afin de réduire les perturbations du contenu original, ainsi qu’une normalisation d’instance adaptative initiale (AdaIN) pour résoudre le problème de désaccord chromatique (échec du transfert des couleurs du style). Nos résultats expérimentaux démontrent que la méthode proposée dépasse les états de l’art, tant dans les benchmarks classiques que dans les méthodes basées sur la diffusion.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Injection de Style dans les Diffusions : Une Approche Sans Formation pour Adapter les Modèles de Diffusion à Grande Échelle au Transfert de Style | Articles | HyperAI