HyperAIHyperAI

Command Palette

Search for a command to run...

FreeMorph: ディフュージョンモデルを用いたチューニングフリーの汎用画像モーフィング

Yukang Cao Chenyang Si Jinghao Wang Ziwei Liu

概要

私たちは FreeMorph を紹介します。これは、異なる意味やレイアウトを持つ入力に対応する最初のチューニングフリーの画像モーフィング手法です。既存の手法は、事前学習された拡散モデルの微調整に依存しており、時間制約や意味/レイアウトの不一致によって制限されていますが、FreeMorph はインスタンスごとの訓練を必要とせずに高忠実度の画像モーフィングを提供します。これらの手法は効率性と潜在能力を持っていますが、マルチステップデノイジングプロセスの非線形性や事前学習された拡散モデルから引き継がれるバイアスにより、高品質な結果を維持することが困難となっています。本論文では、これらの課題を解決するために FreeMorph を導入し、2つの重要な革新を取り入れています。1) 最初に、入力画像からの明示的なガイダンスを組み込むために自己注意モジュールを変更するガイダンス対応型球面補間設計を提案します。これによりアイデンティティロスを解消し、生成されるシーケンス全体で方向性のある移行を確保します。2) さらに、各入力画像から派生した自己注意モジュールをブレンドするステップ指向の変動傾向を導入します。これにより両方の入力を尊重しながら制御され且つ一貫性のある移行が達成されます。私たちの広範な評価結果は、FreeMorph が既存手法よりも優れており、10倍〜50倍速く、画像モーフィングにおける新たな最先端技術であることを示しています。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています