HyperAIHyperAI

Command Palette

Search for a command to run...

Lesen, Schreiben, Teilen und Interagieren mit der Welt durch Video: Ein Überblick auf dem Weg zu vereinheitlichten Video-Weltmodellen

Shengqiong Wu Meng Luo Bobo Li Ziwei Liu Shuicheng Yan Ming-Hsuan Yang Philip Torr Hao Fei

Inhaltsverzeichnis

Zusammenfassung

Video-Basismodelle haben sich beim Verstehen und Erzeugen visueller Sequenzen rasant weiterentwickelt, während Video-Weltmodelle darauf abzielen, die zugrunde liegende Dynamik der von ihnen dargestellten Welt zu erfassen. Trotz ihrer unterschiedlichen Zielsetzungen betreffen beide das Verhältnis zwischen Videobeobachtungen und einer sich entwickelnden Welt. Dieser Überblick nutzt Weltmodellierung als vereinheitlichende Perspektive, um diese Entwicklungen zu untersuchen. Wir betrachten ein beobachtetes Video als partielle, verlustbehaftete und zeitlich geordnete Projektion einer latenten zeitlichen Welt und ordnen die Literatur anhand von vier komplementären Operationen: Lesen erschließt Welteigenschaften aus beobachtetem Video; Schreiben synthetisiert Video aus vorgegebenen oder gelernten Weltbedingungen; Teilen integriert Verstehen und Erzeugen durch gemeinsame Modellierungsmechanismen; Interagieren sagt Weltzustände unter Handlungen und sich verändernden Beobachtungen vorher und aktualisiert sie. Diese Perspektive unterscheidet zeitliche Kohärenz in beobachteten oder erzeugten Sequenzen von der Konsistenz des zugrunde liegenden Weltzustands. Über Aufgaben, Repräsentationen, Modelle, Datensätze und Benchmarks hinweg zeichnen wir eine Schwerpunktverschiebung von Clip-basierter Erkennung und perzeptueller Wiedergabetreue hin zu persistentem Zustand, steuerbarer Evolution, physikalischer und kausaler Validität sowie einer Evaluierung nach, die in Interaktion und nachgelagerten Entscheidungen verankert ist, und destillieren die sich daraus ergebenden offenen Herausforderungen.

One-sentence Summary

Researchers from University of Oxford, National University of Singapore, Nanyang Technological University, and University of California, Merced survey unified video world models by treating observed videos as partial, lossy, temporally ordered projections of latent temporal worlds and organizing methods around reading, writing, sharing, and interacting to advance persistent state, controllable evolution, physical and causal validity, and evaluation grounded in interaction and downstream decisions.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp