Injection de Style dans les Diffusions : Une Approche Sans Formation pour Adapter les Modèles de Diffusion à Grande Échelle au Transfert de Style

Malgré les capacités génératives impressionnantes des modèles à diffusion, les méthodes actuelles de transfert de style basées sur ces modèles nécessitent une optimisation au stade de l’inférence (par exemple, une fine-tuning ou une inversion textuelle du style), ce qui est coûteux en temps, ou échouent à exploiter pleinement les capacités génératives des grands modèles à diffusion pré-entraînés. Pour remédier à ces limitations, nous proposons une nouvelle méthode de transfert de style artistique fondée sur un modèle à diffusion à grande échelle pré-entraîné, sans aucune optimisation supplémentaire. Plus précisément, nous manipulons les caractéristiques des couches d’attention auto-associative de manière similaire au fonctionnement de l’attention croisée : au cours du processus de génération, nous substituons les clés et les valeurs associées au contenu par celles provenant de l’image de style. Cette approche présente plusieurs caractéristiques souhaitables pour le transfert de style, notamment : 1) la préservation du contenu en transférant des styles similaires vers des patches d’image similaires, et 2) le transfert du style fondé sur la similarité des textures locales (par exemple, les contours) entre l’image de contenu et l’image de style. En outre, nous introduisons la préservation de la requête (query preservation) et l’ajustement de la température de l’attention afin de réduire les perturbations du contenu original, ainsi qu’une normalisation d’instance adaptative initiale (AdaIN) pour résoudre le problème de désaccord chromatique (échec du transfert des couleurs du style). Nos résultats expérimentaux démontrent que la méthode proposée dépasse les états de l’art, tant dans les benchmarks classiques que dans les méthodes basées sur la diffusion.