プロジェクト紹介

MuseV  これは、2024 年 3 月に Tencent Music Entertainment の Tianqin Lab によってオープンソース化されたバーチャル ヒューマン ビデオ生成フレームワークです。高品質のバーチャル ヒューマン ビデオとリップ シンクの生成に焦点を当てています。高度なアルゴリズムを利用して、高度な一貫性と自然な表現を備えた長編ビデオ コンテンツを生成します。公開されているものと組み合わせることができます ミューズトーク  組み合わせて使用すると、完全な「仮想ヒューマン ソリューション」を構築できます。

このモデルには次のような特徴があります。

1. これは、エラー蓄積の問題を発生させずに、無限長生成のための新しい視覚条件並列ノイズ除去スキームの使用をサポートしており、特にカメラ位置が固定されたシーンに適しています。
2. キャラクタータイプのデータセットに基づいてトレーニングされたバーチャルヒューマンビデオ生成用の事前トレーニング済みモデルが提供されます。
3. 画像からビデオへ、テキストから画像からビデオへ、およびビデオからビデオへの生成をサポートします。
4. 互換性がある Stable Diffusion  テキストと画像の生成エコシステムを含む base_model 、 lora 、 controlnet  待って。
5. 以下を含む複数の参照画像テクノロジーをサポート IPAdapter 、 ReferenceOnly 、 ReferenceNet 、 IPAdapterFaceID 。

エフェクト表示

結果を生成するすべてのフレームは、によって直接生成されます。 MuseV  時間的超解像や空間的超解像などの後処理を一切行わずに生成されます。

このチュートリアルでは、次のすべてのテスト ケースを実装できます。テスト後、7 秒のビデオを生成するのに約 2 分半かかります。テストされた最長のビデオは 20 秒で 8 分かかります。

キャラクターエフェクト表示

シーンエフェクト表示

既存のビデオに基づいてビデオを生成する

ステップの実行

1. このチュートリアルの右上隅にある「クローン」ボタンを見つけて、「クローン」をクリックした後、プラットフォームのデフォルト設定を直接使用してコンテナを作成します。コンテナが正常に実行され開始されると、次のページが表示されます。下の図のプロンプトに従ってプロジェクト操作インターフェイスに入ります。

❗注意❗ モデルのサイズが大きいため、コンテナが正常に起動された後、API アドレスを開く前にモデルがロードされるのを待つのに約 1 分かかる場合があります。

2. このページの使用方法は次のように説明されています。

交流とディスカッション

🖌️ 高品質のプロジェクトを見つけたら、メッセージを残してバックグラウンドで推奨してください。さらに、チュートリアル交換グループも設立しました。お友達はコードをスキャンして [SD チュートリアル] に参加し、さまざまな技術的な問題について話し合ったり、アプリケーションの効果を共有したりできます。