モデル紹介

Open-Sora-Plan は、OpenAI の Sora (T2V モデル) を再現し、Video-VQVAE (VideoGPT) + DiT に関する知識を構築することを目的としたオープンソース プロジェクトです。このプロジェクトは北京大学と Tuzhan Intelligence Company によって共同で開始され、この研究によりビデオ生成の品質とテキスト制御機能が大幅に向上しました。このモデルは、10 秒、24FPS 1024×1024 の高解像度ビデオを生成でき、高解像度画像の生成もサポートしており、ユーザーにより豊かで詳細な視覚体験を提供します。

実行メソッド

1. 新しいターミナルページを開きます

2. 次のコマンドを入力して依存環境をインストールします。

cd Open-Sora-Plan
pip install diffusers==0.27.2 gradio==4.0.0 einops omegaconf==2.1.1 pytorch_lightning==2.2.1 sentencepiece transformers==4.39.1 accelerate==0.28.0

3. 次のコマンドを入力して Gradio デモを実行します

python -m opensora.serve.gradio_web_server

4. 右側の「API アドレス」を開きます。実名認証がない場合は、最初に実名認証が必要です。