Effektbeispiele

1. Einführung in das Tutorial

EasyControl ist ein Projekt zur effizienten und flexiblen Steuerung von Diffusionstransformatoren. Es wurde 2025 von Tiamat AI, der ShanghaiTech University, der National University of Singapore und Liblib AI gemeinsam entwickelt. Zugehörige Forschungsarbeiten umfassen… EasyControl: Effiziente und flexible Steuerung für Diffusionstransformatoren Da sich Diffusionsmodellarchitekturen von Unet-basierten Strukturen hin zu Diffusion Transformers (DiT) verlagern, mangelt es dem bestehenden DiT-Ökosystem an ausgereifter Plugin-Unterstützung und es bestehen Probleme wie Effizienzengpässe, Konflikte bei der Koordination mehrerer Bedingungen und unzureichende Modellanpassungsfähigkeit. Um diese Probleme zu lösen, schlägt EasyControl ein effizientes und flexibles, einheitliches bedingtes DiT-Framework vor. Durch die Einführung eines leichtgewichtigen LoRA-Moduls zur bedingten Injektion, eines ortsbezogenen Trainingsparadigmas und die Kombination von Mechanismen zur kausalen Aufmerksamkeit und KV-Caching-Techniken verbessert EasyControl die Modellkompatibilität signifikant und unterstützt Plug-and-Play-Funktionalität sowie verlustfreie Stilsteuerung. Zudem erhöht es die Generierungsflexibilität durch die Unterstützung mehrerer Auflösungen, Seitenverhältnisse und Kombinationen mehrerer Bedingungen und optimiert die Inferenzeffizienz, wodurch das Modell zur Laufzeit effizienter wird.

Dieses Tutorial verwendet das stilisierte Img2Img-Steuerungsmodell, das Porträts in Kunstwerke im Stil von Hayao Miyazaki umwandeln kann. Es wurde mit nur 100 echten asiatischen Gesichtern und den entsprechenden, mit GPT-4o generierten Bildern im Ghibli-Stil trainiert, wobei die Gesichtszüge erhalten bleiben und die ikonische Anime-Ästhetik angewendet wird. Darüber hinaus hat EasyControl mit dem CFG-Zero-Team zusammengearbeitet, um die Bildtreue und Steuerbarkeit weiter zu verbessern. Das Team plant außerdem, die Modellleistung weiter zu optimieren und weitere Anwendungsszenarien zu erkunden. In Zukunft werden möglicherweise weitere vortrainierte Gewichte und Trainingscodes veröffentlicht, um die weitere Forschung und Entwicklung in der Community zu unterstützen.

Dieses Tutorial verwendet EasyControl als Demonstration und die Rechenressource verwendet A6000.

2. Bedienungsschritte

1. Klicken Sie nach dem Starten des Containers auf die API-Adresse, um die Weboberfläche aufzurufen

Wenn „BadGateway“ angezeigt wird, bedeutet dies, dass das Modell initialisiert wird. Da das Modell groß ist, warten Sie bitte etwa 1–2 Minuten und aktualisieren Sie die Seite.

2. Sobald Sie die Website betreten, können Sie beginnen zu verwenden

Anwendung

Demo

Austausch und Diskussion

🖌️ Wenn Sie ein hochwertiges Projekt sehen, hinterlassen Sie bitte im Hintergrund eine Nachricht, um es weiterzuempfehlen! Darüber hinaus haben wir auch eine Tutorien-Austauschgruppe ins Leben gerufen. Willkommen, Freunde, scannen Sie den QR-Code und kommentieren Sie [SD-Tutorial], um der Gruppe beizutreten, verschiedene technische Probleme zu besprechen und Anwendungsergebnisse auszutauschen ↓