Exemples d'effets

1. Introduction au tutoriel

EasyControl est un projet conçu pour ajouter une commande efficace et flexible aux transformateurs de diffusion. Il a été développé conjointement en 2025 par Tiamat AI, l'Université ShanghaiTech, l'Université nationale de Singapour et Liblib AI. Parmi les articles de recherche associés, on peut citer… EasyControl : Ajout d'un contrôle efficace et flexible pour le transformateur de diffusion Avec la transition des architectures de modèles de diffusion des structures basées sur Unet vers le Diffusion Transformer (DiT), l'écosystème DiT existant souffre d'un manque de prise en charge des plugins et rencontre des problèmes tels que des goulots d'étranglement en termes d'efficacité, des conflits de coordination entre plusieurs conditions et une adaptabilité insuffisante des modèles. Pour remédier à ces problèmes, EasyControl propose un framework DiT conditionnel unifié, efficace et flexible. En introduisant un module LoRA d'injection conditionnelle léger, un paradigme d'entraînement géolocalisé et en combinant des mécanismes d'attention causale et des techniques de mise en cache KV, EasyControl améliore considérablement la compatibilité des modèles, en prenant en charge la fonctionnalité plug-and-play et le contrôle de style sans perte ; il améliore également la flexibilité de génération, en prenant en charge plusieurs résolutions, formats d'image et combinaisons de conditions ; et il optimise l'efficacité de l'inférence, rendant le modèle plus performant à l'exécution.

Ce tutoriel utilise le modèle de contrôle stylisé Img2Img, capable de transformer des portraits en œuvres d'art de style Hayao Miyazaki, formées à l'aide de seulement 100 vrais visages asiatiques et de leurs images de style Ghibli générées par GPT-4o correspondantes, tout en préservant les traits du visage et en appliquant l'esthétique emblématique de l'anime. De plus, EasyControl a collaboré avec l’équipe CFG-Zero pour améliorer encore la fidélité et la contrôlabilité de l’image. L’équipe prévoit également de continuer à optimiser les performances du modèle et d’explorer davantage de scénarios d’application. À l’avenir, davantage de poids pré-entraînés et de codes d’entraînement pourraient être publiés pour soutenir davantage de recherche et de développement au sein de la communauté.

Ce tutoriel utilise EasyControl comme démonstration et la ressource informatique utilise A6000.

2. Étapes de l'opération

1. Après avoir démarré le conteneur, cliquez sur l'adresse API pour accéder à l'interface Web

Si « BadGateway » s'affiche, cela signifie que le modèle est en cours d'initialisation. Étant donné que le modèle est grand, veuillez patienter environ 1 à 2 minutes et actualiser la page.

2. Une fois que vous entrez sur le site Web, vous pouvez commencer à utiliser

Comment utiliser

Démo

Échange et discussion

🖌️ Si vous voyez un projet de haute qualité, veuillez laisser un message en arrière-plan pour le recommander ! De plus, nous avons également créé un groupe d’échange de tutoriels. Bienvenue aux amis pour scanner le code QR et commenter [Tutoriel SD] pour rejoindre le groupe pour discuter de divers problèmes techniques et partager les résultats de l'application↓