HyperAIHyperAI

Command Palette

Search for a command to run...

Lire, écrire, partager et interagir avec le monde par la vidéo : un état de l’art vers des modèles du monde vidéo unifiés

Shengqiong Wu Meng Luo Bobo Li Ziwei Liu Shuicheng Yan Ming-Hsuan Yang Philip Torr Hao Fei

Table des matières

Résumé

Les modèles de fondation vidéo ont rapidement progressé dans la compréhension et la génération de séquences visuelles, tandis que les modèles du monde vidéo cherchent à saisir les dynamiques sous-jacentes du monde qu’ils représentent. Malgré leurs objectifs différents, tous deux concernent la relation entre les observations vidéo et un monde en évolution. Cet état de l’art adopte la modélisation du monde comme prisme unificateur pour examiner ces développements. En considérant une vidéo observée comme une projection partielle, avec pertes et ordonnée temporellement, d’un monde temporel latent, nous organisons la littérature autour de quatre opérations complémentaires : la lecture infère les propriétés du monde à partir de la vidéo observée ; l’écriture synthétise une vidéo à partir de conditions du monde spécifiées ou apprises ; le partage intègre la compréhension et la génération grâce à des mécanismes de modélisation communs ; l’interaction prédit et met à jour les états du monde sous l’effet d’actions et d’observations évolutives. Cette perspective distingue la cohérence temporelle des séquences observées ou générées de la cohérence de l’état du monde sous-jacent. À travers les tâches, les représentations, les modèles, les jeux de données et les référentiels d’évaluation, nous mettons en évidence un déplacement de l’accent, depuis la reconnaissance au niveau des extraits vidéo et la fidélité perceptuelle, vers un état persistant, une évolution contrôlable, la validité physique et causale, ainsi qu’une évaluation ancrée dans l’interaction et les décisions en aval ; nous en dégageons les défis ouverts qui en découlent.

One-sentence Summary

Researchers from University of Oxford, National University of Singapore, Nanyang Technological University, and University of California, Merced survey unified video world models by treating observed videos as partial, lossy, temporally ordered projections of latent temporal worlds and organizing methods around reading, writing, sharing, and interacting to advance persistent state, controllable evolution, physical and causal validity, and evaluation grounded in interaction and downstream decisions.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp