HyperAIHyperAI

Command Palette

Search for a command to run...

VideoFusion : Modèles de diffusion décomposés pour la génération de vidéos de haute qualité

Zhengxiong Luo Dayou Chen Yingya Zhang Yan Huang Liang Wang Yujun Shen Deli Zhao Jingren Zhou Tieniu Tan

Résumé

Un modèle probabiliste de diffusion (DPM), qui construit un processus de diffusion direct en ajoutant progressivement du bruit aux points de données et apprend un processus inverse de débruitage pour générer de nouveaux échantillons, a démontré sa capacité à traiter des distributions de données complexes. Malgré ses récents succès dans la synthèse d’images, son application à la génération vidéo reste difficile en raison de l’high-dimensionnalité des espaces de données. Les méthodes précédentes adoptent généralement un processus de diffusion standard, où les cadres d’un même clip vidéo sont altérés par des bruits indépendants, ignorant ainsi la redondance sémantique et les corrélations temporelles présentes dans les vidéos. Ce travail propose un processus de diffusion décomposé, en décomposant le bruit par cadre en un bruit de base partagé entre tous les cadres et un bruit résiduel variant selon l’axe temporel. Le pipeline de débruitage utilise deux réseaux appris conjointement pour correspondre à cette décomposition de bruit. Des expériences sur divers jeux de données confirment que notre approche, baptisée VideoFusion, surpasser les alternatives basées sur les GAN ainsi que celles fondées sur la diffusion pour la génération de vidéos de haute qualité. Nous montrons également que notre formulation décomposée peut tirer parti de modèles pré-entraînés de diffusion d’images et permet efficacement la création vidéo conditionnée par le texte.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp