1. Introduction au tutoriel

EX-4D, développé par Pico (une équipe de ByteDance) et lancé le 3 juillet 2025, est un nouveau framework de génération vidéo 4D. Il permet de générer des vidéos 4D de haute qualité à partir d'une entrée vidéo monoculaire, même sous des angles de vue extrêmes. Ce framework repose sur une représentation unique de type Deep Waterproof Mesh (DW-Mesh), modélisant explicitement les régions visibles et occluses afin de garantir la cohérence géométrique, même avec des poses de caméra extrêmes. Il utilise une stratégie de masquage d'occlusion simulée pour générer des données d'entraînement efficaces à partir de la vidéo monoculaire et synthétise des vidéos physiquement et temporellement cohérentes grâce à un adaptateur de diffusion vidéo léger basé sur LoRa. EX-4D surpasse nettement les méthodes existantes sous des angles de vue extrêmes, offrant ainsi une nouvelle solution pour la génération vidéo 4D. Des articles de recherche associés sont disponibles. EX-4D : Synthèse vidéo EXtreme Viewpoint 4D via un maillage étanche à la profondeur .

Ce tutoriel utilise une seule carte RTX A6000 comme ressource.

2. Exemples de projets

3. Étapes de l'opération

1. Après avoir démarré le conteneur, cliquez sur l'adresse API pour accéder à l'interface Web

2. Étapes d'utilisation

Si « Bad Gateway » s'affiche, cela signifie que le modèle est en cours d'initialisation. Étant donné que le modèle est grand, veuillez patienter environ 2 à 3 minutes et actualiser la page.

Description des paramètres

• Angle de prise de vue : 30°-180°. Plus l'angle est grand, plus le champ de vision est large.
• Nombre d'images : nombre d'images vidéo.
• Étapes d'inférence : Étapes d'inférence.
• Graine aléatoire : Graine aléatoire.

4. Discussion

🖌️ Si vous voyez un projet de haute qualité, veuillez laisser un message en arrière-plan pour le recommander ! De plus, nous avons également créé un groupe d’échange de tutoriels. Bienvenue aux amis pour scanner le code QR et commenter [Tutoriel SD] pour rejoindre le groupe pour discuter de divers problèmes techniques et partager les résultats de l'application↓

Informations sur la citation

Les informations de citation pour ce projet sont les suivantes :

@misc{hu2025ex4dextremeviewpoint4d,
      title={EX-4D: EXtreme Viewpoint 4D Video Synthesis via Depth Watertight Mesh}, 
      author={Tao Hu and Haoyang Peng and Xiao Liu and Yuewen Ma},
      year={2025},
      eprint={2506.05554},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2506.05554}, 
}