HyperAIHyperAI

Command Palette

Search for a command to run...

スタイル注入による拡散モデル:スタイル転送のための大規模拡散モデル適応のためのトレーニングフリー手法

Jiwoo Chung Sangeek Hyun Jae-Pil Heo

概要

拡散モデルの優れた生成能力にもかかわらず、従来の拡散モデルに基づくスタイル転送手法は、推論段階での最適化(例えばスタイルのファインチューニングやテキストインバージョン)を必要とし、計算に時間がかかる場合や、大規模拡散モデルの生成能力を十分に活用できないという課題がある。これらの問題を解決するために、最適化を一切行わず、事前に学習された大規模拡散モデルに基づく新たな芸術的スタイル転送手法を提案する。具体的には、クロスアテンション機構の動作様式を模倣する形で、自己アテンション層の特徴量を操作し、生成プロセスにおいてコンテンツ画像のキーおよびバリューをスタイル画像のものに置き換える。このアプローチにより、以下のような望ましい特性が得られる:1)類似したスタイルが類似した画像パッチに転送されることで、コンテンツの保持が可能となる;2)コンテンツ画像とスタイル画像の間の局所的なテクスチャ(例:エッジ)の類似性に基づいたスタイルの転送が実現できる。さらに、元のコンテンツの破壊を軽減するため、クエリの保持とアテンション温度のスケーリングを導入し、スタイルの色が正しく転送されない(色の不調和)問題に対処するため、初期潜在変数に対する適応的インスタンス正規化(AdaIN)を用いる。実験結果から、本手法が従来のスタイル転送および拡散モデルベースのスタイル転送の最先端手法をいずれも上回ることを示した。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています