HyperAIHyperAI

Command Palette

Search for a command to run...

Rapport technique ModelScope Text-to-Video

Jiuniu Wang Hangjie Yuan Dayou Chen Yingya Zhang Xiang Wang Shiwei Zhang

Résumé

Cet article présente ModelScopeT2V, un modèle de synthèse vidéo à partir de texte, dérivé d’un modèle de synthèse d’images à partir de texte (à savoir Stable Diffusion). ModelScopeT2V intègre des blocs spatio-temporels afin d’assurer une génération cohérente des trames et des transitions fluides entre les mouvements. Le modèle peut s’adapter à un nombre variable de trames lors de l’entraînement comme lors de l’inférence, ce qui le rend adapté aussi bien aux jeux de données image-texte qu’aux jeux de données vidéo-texte. ModelScopeT2V combine trois composants (à savoir VQGAN, un encodeur de texte et un réseau UNet débruitant), totalisant 1,7 milliard de paramètres, dont 0,5 milliard sont dédiés aux capacités temporelles. Le modèle obtient des performances supérieures à celles des méthodes de pointe sur trois métriques d’évaluation. Le code source et une démonstration en ligne sont disponibles à l’adresse suivante : \url{https://modelscope.cn/models/damo/text-to-video-synthesis/summary}.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp