Exemples d'effets

1. Introduction au tutoriel

EasyControl est un projet qui vise à ajouter un contrôle efficace et flexible au transformateur de diffusion. Il a été développé conjointement par Tiamat AI, l'Université ShanghaiTech, l'Université nationale de Singapour et Liblib AI en 2025. Les résultats de l'article associé sont "EasyControl : Ajout d'un contrôle efficace et flexible pour le transformateur de diffusionAlors que l'architecture du modèle de diffusion évolue d'une structure basée sur Unet vers un transformateur de diffusion (DiT), l'écosystème DiT existant manque de prise en charge mature des plug-ins et est confronté à des problèmes tels que des goulots d'étranglement en termes d'efficacité, des conflits de coordination multi-conditions et une adaptabilité insuffisante du modèle. Pour résoudre ces problèmes, EasyControl propose un cadre DiT conditionnel unifié, efficace et flexible. En introduisant des modules LoRA d'injection conditionnelle légers, des paradigmes d'apprentissage géolocalisés et en combinant des mécanismes d'attention causale et la technologie de cache KV, EasyControl améliore considérablement la compatibilité des modèles, prend en charge les fonctionnalités plug-and-play et le contrôle de style sans perte ; dans le même temps, il améliore la flexibilité de génération et peut prendre en charge plusieurs résolutions, rapports d'aspect et combinaisons de conditions multiples ; et optimise l'efficacité de l'inférence, rendant le modèle plus performant à l'exécution.

Ce tutoriel utilise le modèle de contrôle stylisé Img2Img, capable de transformer des portraits en œuvres d'art de style Hayao Miyazaki, formées à l'aide de seulement 100 vrais visages asiatiques et de leurs images de style Ghibli générées par GPT-4o correspondantes, tout en préservant les traits du visage et en appliquant l'esthétique emblématique de l'anime. De plus, EasyControl a collaboré avec l’équipe CFG-Zero pour améliorer encore la fidélité et la contrôlabilité de l’image. L’équipe prévoit également de continuer à optimiser les performances du modèle et d’explorer davantage de scénarios d’application. À l’avenir, davantage de poids pré-entraînés et de codes d’entraînement pourraient être publiés pour soutenir davantage de recherche et de développement au sein de la communauté.

Ce tutoriel utilise EasyControl comme démonstration et la ressource informatique utilise A6000.

2. Étapes de l'opération

1. Après avoir démarré le conteneur, cliquez sur l'adresse API pour accéder à l'interface Web

Si « BadGateway » s'affiche, cela signifie que le modèle est en cours d'initialisation. Étant donné que le modèle est grand, veuillez patienter environ 1 à 2 minutes et actualiser la page.

2. Une fois que vous entrez sur le site Web, vous pouvez commencer à utiliser

Comment utiliser

Démo

Échange et discussion

🖌️ Si vous voyez un projet de haute qualité, veuillez laisser un message en arrière-plan pour le recommander ! De plus, nous avons également créé un groupe d’échange de tutoriels. Bienvenue aux amis pour scanner le code QR et commenter [Tutoriel SD] pour rejoindre le groupe pour discuter de divers problèmes techniques et partager les résultats de l'application↓