HyperAIHyperAI

Command Palette

Search for a command to run...

Modélisation flexible de diffusion pour vidéos longues

William Harvey Saeid Naderiparizi Vaden Masrani Christian Weilbach Frank Wood

Résumé

Nous présentons un cadre pour la modélisation vidéo fondé sur des modèles probabilistes de diffusion à débruitage, capable de produire des complétions vidéo de longue durée dans divers environnements réalistes. Nous introduisons un modèle génératif pouvant, au moment du test, échantillonner n’importe quelle sous-partie arbitraire de cadres vidéo conditionnellement à n’importe quelle autre sous-partie, et proposons une architecture adaptée à cet objectif. Cette approche permet de comparer efficacement et d’optimiser diverses stratégies d’ordre d’échantillonnage des cadres dans une vidéo longue, tout en permettant une conditionnement sélectif, sparse et à longue portée sur les cadres déjà échantillonnés. Nous démontrons une amélioration significative de la modélisation vidéo par rapport aux travaux antérieurs sur plusieurs jeux de données, et générons des vidéos temporellement cohérentes d’une durée dépassant 25 minutes. En outre, nous mettons à disposition un nouveau jeu de données pour la modélisation vidéo ainsi que des métriques sémantiquement pertinentes basées sur des vidéos générées dans le simulateur d’automatisation CARLA.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp