エフェクト例

1. チュートリアルの概要

EasyControl は、拡散変圧器に効率的かつ柔軟な制御を追加することを目的としたプロジェクトです。これは、2025年にTiamat AI、上海科技大学、シンガポール国立大学、Liblib AIによって共同で開発されました。関連する論文の結果は次のとおりです。EasyControl: 拡散変圧器に効率的かつ柔軟な制御を追加拡散モデルアーキテクチャがUnetベースの構造から拡散トランスフォーマー（DiT）に移行するにつれて、既存のDiTエコシステムは成熟したプラグインサポートを欠き、効率のボトルネック、複数条件調整の競合、不十分なモデル適応性などの問題に直面しています。これらの問題に対処するために、EasyControlは、効率的で柔軟な統合条件付きDiTフレームワークを提案しています。軽量の条件付き注入LoRAモジュール、位置認識トレーニングパラダイムを導入し、因果アテンションメカニズムとKVキャッシュテクノロジーを組み合わせることで、EasyControlはモデルの互換性を大幅に向上させ、プラグアンドプレイ機能とロスレススタイルコントロールをサポートします。同時に、生成の柔軟性を高め、複数の解像度、アスペクト比、および複数の条件の組み合わせをサポートし、推論効率を最適化して、実行時のモデルの効率を高めます。

このチュートリアルでは、様式化された Img2Img コントロールモデルを使用します。このモデルは、顔の特徴を維持し、象徴的なアニメの美学を適用しながら、肖像画を宮崎駿風のアートワークに変換できます。このモデルは、実際のアジア人の顔 100 個と、それに対応する GPT-4o で生成されたジブリ風の画像のみを使用してトレーニングされています。さらに、EasyControl は CFG-Zero チームと協力して、画像の忠実度と制御性をさらに向上させました。チームは、モデルのパフォーマンスを最適化し、より多くのアプリケーションシナリオを探索し続ける予定です。将来的には、コミュニティのさらなる研究開発をサポートするために、より多くの事前トレーニング済みの重みとトレーニングコードがリリースされる可能性があります。