HyperAIHyperAI

Command Palette

Search for a command to run...

MasaCtrl : Contrôle de l'auto-attention mutuelle sans réglage pour une synthèse et une édition d'images cohérentes

Mingdeng Cao extsuperscript1,2 ootnoteWork done during an internship at ARC Lab, Tencent PCG. Xintao Wang extsuperscript2 ootnoteARC Lab, Tencent PCG. Zhongang Qi extsuperscript2 Ying Shan extsuperscript2 Xiaohu Qie extsuperscript2 Yinqiang Zheng extsuperscript1

Résumé

Bien que les méthodes actuelles aient connu un succès notable dans la génération d'images à grande échelle à partir de texte et l'édition d'images conditionnée par du texte, elles peinent encore à produire des résultats cohérents en termes de génération et d'édition. Par exemple, les approches de génération échouent souvent à synthétiser plusieurs images des mêmes objets/characters mais avec différentes vues ou poses. De plus, les méthodes existantes d'édition échouent soit à réaliser une édition non rigide complexe tout en maintenant les textures globales et l'identité, soit nécessitent un ajustement minutieux et chronophage pour capturer l'apparence spécifique de l'image. Dans cet article, nous développons MasaCtrl, une méthode sans ajustement (tuning-free) permettant d'atteindre simultanément une génération d'images cohérente et une édition d'images non rigide complexe. Plus précisément, MasaCtrl transforme l'auto-attention existante dans les modèles de diffusion en auto-attention mutuelle, afin qu'elle puisse interroger des contenus et textures locaux corrélés provenant des images sources pour assurer la cohérence. Pour réduire davantage la confusion des requêtes entre premier plan et arrière-plan, nous proposons une stratégie d'auto-attention mutuelle guidée par un masque, où le masque peut être facilement extrait des cartes d'attention croisée. De nombreuses expériences montrent que le MasaCtrl proposé produit des résultats impressionnants tant en génération d'images cohérente qu'en édition d'images réelles non rigides complexes.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp