EX-4D : Générer Une Vue Libre À Partir D'une Vidéo Monoculaire

1. Introduction au tutoriel

EX-4D est un nouveau framework de génération vidéo 4D lancé par l'équipe Pico sous ByteDance le 3 juillet 2025. Il permet de générer des vidéos 4D de haute qualité avec des perspectives extrêmes à partir d'une entrée vidéo monoculaire. Ce framework repose sur une représentation unique de maillage étanche profond (DW-Mesh), qui modélise explicitement les zones visibles et occultées afin de garantir la cohérence géométrique sous des poses de caméra extrêmes. Il utilise une stratégie de masque d'occlusion simulé pour générer des données d'apprentissage efficaces à partir de vidéos monoculaires, et utilise un adaptateur de diffusion vidéo léger basé sur LoRA pour synthétiser des vidéos physiquement cohérentes et temporellement cohérentes. EX-4D offre des performances nettement supérieures aux méthodes existantes avec des perspectives extrêmes, offrant une nouvelle solution pour la génération vidéo 4D. Les résultats de l'article sont les suivants :EX-4D : Synthèse vidéo EXtreme Viewpoint 4D via un maillage étanche à la profondeur".

Ce tutoriel utilise une seule carte RTX A6000 comme ressource.

2. Exemples de projets

3. Étapes de l'opération

1. Après avoir démarré le conteneur, cliquez sur l'adresse API pour accéder à l'interface Web

2. Étapes d'utilisation

Si « Bad Gateway » s'affiche, cela signifie que le modèle est en cours d'initialisation. Étant donné que le modèle est grand, veuillez patienter environ 2 à 3 minutes et actualiser la page.

Description des paramètres

• Angle de prise de vue : 30°-180°. Plus l'angle est grand, plus le champ de vision est large.
• Nombre d'images : nombre d'images vidéo.
• Étapes d'inférence : Étapes d'inférence.
• Graine aléatoire : Graine aléatoire.

4. Discussion

🖌️ Si vous voyez un projet de haute qualité, veuillez laisser un message en arrière-plan pour le recommander ! De plus, nous avons également créé un groupe d’échange de tutoriels. Bienvenue aux amis pour scanner le code QR et commenter [Tutoriel SD] pour rejoindre le groupe pour discuter de divers problèmes techniques et partager les résultats de l'application↓

Informations sur la citation

Les informations de citation pour ce projet sont les suivantes :

@misc{hu2025ex4dextremeviewpoint4d,
      title={EX-4D: EXtreme Viewpoint 4D Video Synthesis via Depth Watertight Mesh}, 
      author={Tao Hu and Haoyang Peng and Xiao Liu and Yuewen Ma},
      year={2025},
      eprint={2506.05554},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2506.05554}, 
}