DynamiCrafterで静止画からリアルな動画への変換

プロジェクト概要

従来の動的画像技術は、ランダムまたは特定の分野の動き（例えば人の髪や体の動きなど）を用いて、ビデオのようなアニメーション効果を生成することに重点を置いており、そのためより一般的な視覚コンテンツはこの種の技術によって制限されていました。

一方、DynamiCrafter は画像によるテキスト指示付きの動画生成を採用し、入力された完全な画像と初期ノイズをつなぎ合わせて拡散モデルに入力することで、視覚的に優れかつ論理的に整合性のある動画アニメーション効果を生み出します。

このチュートリアルでは、数行のコマンドを実行するだけでプロジェクト全体を動作させ、実際にその技術を体験していただくことで、実行結果を目でご覧いただけます。

このチュートリアルでは以下の2つの使用方法を実現できます：

1. 画像とプロンプトを使用して動画を生成する方法；
2. 開始フレーム、終了フレームおよびプロンプトを使用して動画を生成する方法。

注意：これらの2つの方法はコンテナ内で同時に実行できません。片方の方法を完了した後にはターミナルプロセスを終了させ、再度新しいコマンドを入力してからもう片方の方法を起動する必要があります。

以下にいくつかの効果表示と実行手順を示します。

効果表示

実行ステップ

Ⅰ. テキストプロンプトによる動画生成

1. ディレクトリの切り替え

cd DynamiCrafter

2. コマンドの実行後、DynamiCrafter のメインディレクトリに入り、その後コマンドライン上でスクリプト起動コマンドを入力してください：

python gradio_app.py

3. この時点でコンテナがスクリプトの内容に基づいて自動的にプログラムを実行し、インターフェース上にポート番号「8080」が表示されるのを待ちます。右側のAPIアドレスをコピーして新しいページで開きます。（実名認証が必要です。）

4. ウェブページに入った後は、以下のヒントに従って操作を行ってください。

ローカルの写真をアップロードしたり、「Prompts」欄に興味あるプロンプトを入力してハイパーパラメータを調整し、好きな動画を生成することができます。

Ⅱ. 開始フレーム・終了フレームおよびプロンプトによる動画生成

さらに別の動画生成スタイルを試したい場合は、次の手順に従って進めてください。

1. まず、先ほど戻ったウェブサイトのターミナルページに戻ります。マウス左ボタンでターミナルページを選択した状態でキーボードから “ctrl + c” を押して現在のプロセスを終了させた後、ターミナルのコマンドラインに入力します：

python gradio_app_interp_and_loop.py

2. タスクの起動成功後、右側のAPIアドレスをコピーして新しいページで開きます。

ウェブサイトを開くと以下のように見えます：

開始画像と終了画像をそれぞれ一枚ずつアップロードし、「Prompts」欄にプロンプトを入力してパラメータを設定すれば、自分自身で作成したい動画作りを楽しむことができます。

[JIALIU_0]