Command Palette
Search for a command to run...
Lesen, Schreiben, Teilen und Interagieren mit der Welt durch Video: Ein Überblick auf dem Weg zu vereinheitlichten Video-Weltmodellen
Lesen, Schreiben, Teilen und Interagieren mit der Welt durch Video: Ein Überblick auf dem Weg zu vereinheitlichten Video-Weltmodellen
Shengqiong Wu Meng Luo Bobo Li Ziwei Liu Shuicheng Yan Ming-Hsuan Yang Philip Torr Hao Fei
Zusammenfassung
Video-Basismodelle haben sich beim Verstehen und Erzeugen visueller Sequenzen rasant weiterentwickelt, während Video-Weltmodelle darauf abzielen, die zugrunde liegende Dynamik der von ihnen dargestellten Welt zu erfassen. Trotz ihrer unterschiedlichen Zielsetzungen betreffen beide das Verhältnis zwischen Videobeobachtungen und einer sich entwickelnden Welt. Dieser Überblick nutzt Weltmodellierung als vereinheitlichende Perspektive, um diese Entwicklungen zu untersuchen. Wir betrachten ein beobachtetes Video als partielle, verlustbehaftete und zeitlich geordnete Projektion einer latenten zeitlichen Welt und ordnen die Literatur anhand von vier komplementären Operationen: Lesen erschließt Welteigenschaften aus beobachtetem Video; Schreiben synthetisiert Video aus vorgegebenen oder gelernten Weltbedingungen; Teilen integriert Verstehen und Erzeugen durch gemeinsame Modellierungsmechanismen; Interagieren sagt Weltzustände unter Handlungen und sich verändernden Beobachtungen vorher und aktualisiert sie. Diese Perspektive unterscheidet zeitliche Kohärenz in beobachteten oder erzeugten Sequenzen von der Konsistenz des zugrunde liegenden Weltzustands. Über Aufgaben, Repräsentationen, Modelle, Datensätze und Benchmarks hinweg zeichnen wir eine Schwerpunktverschiebung von Clip-basierter Erkennung und perzeptueller Wiedergabetreue hin zu persistentem Zustand, steuerbarer Evolution, physikalischer und kausaler Validität sowie einer Evaluierung nach, die in Interaktion und nachgelagerten Entscheidungen verankert ist, und destillieren die sich daraus ergebenden offenen Herausforderungen.
One-sentence Summary
Researchers from University of Oxford, National University of Singapore, Nanyang Technological University, and University of California, Merced survey unified video world models by treating observed videos as partial, lossy, temporally ordered projections of latent temporal worlds and organizing methods around reading, writing, sharing, and interacting to advance persistent state, controllable evolution, physical and causal validity, and evaluation grounded in interaction and downstream decisions.