1. チュートリアルの概要

EX-4Dは、ByteDance傘下のチームであるPicoが2025年7月3日にリリースした、斬新な4D動画生成フレームワークです。極端な視点からの単眼動画入力から、高品質な4D動画を生成できます。このフレームワークは、独自のDeep Waterproof Mesh（DW-Mesh）表現に基づいており、可視領域と遮蔽領域を明示的にモデル化することで、極端なカメラポーズ下でも幾何学的な一貫性を確保します。また、シミュレートされた遮蔽マスキング戦略を用いて単眼動画から効果的な学習データを生成し、軽量なLoRAベースの動画拡散アダプターを用いて、物理的に一貫性があり時間的にも整合性のある動画を合成します。EX-4Dは、極端な視点下でも既存の手法を大幅に上回り、4D動画生成のための新たなソリューションを提供します。関連研究論文も公開されています。 EX-4D: 深度ウォータータイトメッシュによるエクストリームビューポイント4Dビデオ合成 。

このチュートリアルでは、リソースとして単一の RTX A6000 カードを使用します。

2. プロジェクト例

3. 操作手順

1. コンテナを起動した後、API アドレスをクリックして Web インターフェイスに入ります

2. 使用手順

「Bad Gateway」と表示される場合、モデルが初期化中であることを意味します。モデルが大きいため、2〜3分ほど待ってページを更新してください。

パラメータの説明

• カメラ角度：カメラ角度は30°～180°です。角度が大きいほど、視野が広くなります。
• フレーム数: ビデオ フレームの数。
• 推論手順: 推論手順。
• ランダム シード: ランダム シード。

4. 議論

🖌️ 高品質のプロジェクトを見つけたら、メッセージを残してバックグラウンドで推奨してください。さらに、チュートリアル交換グループも設立しました。お友達はコードをスキャンして [SD チュートリアル] に参加し、さまざまな技術的な問題について話し合ったり、アプリケーションの効果を共有したりできます。

引用情報

このプロジェクトの引用情報は次のとおりです。

@misc{hu2025ex4dextremeviewpoint4d,
      title={EX-4D: EXtreme Viewpoint 4D Video Synthesis via Depth Watertight Mesh}, 
      author={Tao Hu and Haoyang Peng and Xiao Liu and Yuewen Ma},
      year={2025},
      eprint={2506.05554},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2506.05554}, 
}