Wan2.2-S2V-14B : Génération Vidéo Audio De Qualité Cinématographique

1. Introduction au tutoriel

Wan2.2-S2V-14B est un modèle de génération vidéo piloté par l'audio, open source par l'équipe Alibaba Tongyi Wanxiang en août 2025. Wan2.2-S2V-14B ne nécessite qu'une image statique et un clip audio pour générer des vidéos numériques de qualité cinématographique, d'une durée maximale de quelques minutes, et prend en charge une variété de types d'images et de trames. Les utilisateurs peuvent contrôler l'écran vidéo en saisissant des instructions textuelles pour enrichir l'image. Le modèle intègre plusieurs technologies innovantes pour générer des vidéos audio pour des scènes complexes, et prend en charge la génération de vidéos longues, ainsi que l'apprentissage et l'inférence multirésolution. Ce modèle a été largement utilisé dans la diffusion numérique en direct, la production cinématographique et télévisuelle, l'enseignement de l'IA et d'autres domaines. Les résultats de l'étude sont les suivants :Wan-S2V : Génération vidéo cinématographique pilotée par l'audio".

Les ressources informatiques utilisées dans ce tutoriel sont une seule carte RTX A6000.

2. Affichage des effets

3. Étapes de l'opération

1. Démarrez le conteneur

2. Étapes d'utilisation

Si « Bad Gateway » s'affiche, cela signifie que le modèle est en cours d'initialisation. Étant donné que le modèle est grand, veuillez patienter environ 2 à 3 minutes et actualiser la page.

Remarque : Plus le nombre d'étapes d'inférence est élevé, meilleur est l'effet généré, mais plus le temps de génération est long. Veuillez définir des étapes d'inférence raisonnables (exemple 1 : avec 10 étapes d'inférence, la génération d'une vidéo prend environ 15 minutes).

Paramètres spécifiques :

• Résolution (H*L) : résolution.
• Le nombre d'images par segment : spécifie le nombre d'images consécutives à traiter ou à générer à chaque fois que la vidéo est générée.
• Coefficient de guidage : contrôle la force avec laquelle le processus de génération suit l'invite de saisie ou les conditions (telles que le texte, l'image de référence).
• Nombre d'étapes échantillonnées : indique le nombre d'itérations nécessaires à la génération du modèle de diffusion. Les modèles de diffusion démarrent généralement avec du bruit pur et subissent plusieurs étapes de débruitage pour obtenir le résultat final.
• Décalage du bruit : utilisé pour ajuster les caractéristiques du bruit pendant le processus de diffusion, comme la modification de la distribution ou de l'intensité du bruit.
• Random Seed (-1 Random) : contrôle l'état initial du générateur de nombres aléatoires.
• Utiliser l'image de référence comme première image : option booléenne. Si cette option est activée, l'image de référence fournie par l'utilisateur sera utilisée comme image de départ (première image) de la vidéo générée.
• Déchargement du modèle pour économiser la mémoire vidéo (plus lent) : Déchargement du modèle pour économiser la mémoire vidéo (plus lent).

4. Discussion

🖌️ Si vous voyez un projet de haute qualité, veuillez laisser un message en arrière-plan pour le recommander ! De plus, nous avons également créé un groupe d’échange de tutoriels. Bienvenue aux amis pour scanner le code QR et commenter [Tutoriel SD] pour rejoindre le groupe pour discuter de divers problèmes techniques et partager les résultats de l'application↓

Informations sur la citation

Les informations de citation pour ce projet sont les suivantes :

@article{wan2025,
      title={Wan: Open and Advanced Large-Scale Video Generative Models}, 
      author={Team Wan and Ang Wang and Baole Ai and Bin Wen and Chaojie Mao and Chen-Wei Xie and Di Chen and Feiwu Yu and Haiming Zhao and Jianxiao Yang and Jianyuan Zeng and Jiayu Wang and Jingfeng Zhang and Jingren Zhou and Jinkai Wang and Jixuan Chen and Kai Zhu and Kang Zhao and Keyu Yan and Lianghua Huang and Mengyang Feng and Ningyi Zhang and Pandeng Li and Pingyu Wu and Ruihang Chu and Ruili Feng and Shiwei Zhang and Siyang Sun and Tao Fang and Tianxing Wang and Tianyi Gui and Tingyu Weng and Tong Shen and Wei Lin and Wei Wang and Wei Wang and Wenmeng Zhou and Wente Wang and Wenting Shen and Wenyuan Yu and Xianzhong Shi and Xiaoming Huang and Xin Xu and Yan Kou and Yangyu Lv and Yifei Li and Yijing Liu and Yiming Wang and Yingya Zhang and Yitong Huang and Yong Li and You Wu and Yu Liu and Yulin Pan and Yun Zheng and Yuntao Hong and Yupeng Shi and Yutong Feng and Zeyinzi Jiang and Zhen Han and Zhi-Fan Wu and Ziyu Liu},
      journal = {arXiv preprint arXiv:2503.20314},
      year={2025}
}