Command Palette
Search for a command to run...
ビデオを通じた世界の読み取り・書き出し・共有・相互作用:統一的なビデオ世界モデルに向けたサーベイ
ビデオを通じた世界の読み取り・書き出し・共有・相互作用:統一的なビデオ世界モデルに向けたサーベイ
Shengqiong Wu Meng Luo Bobo Li Ziwei Liu Shuicheng Yan Ming-Hsuan Yang Philip Torr Hao Fei
概要
ビデオ基盤モデルは視覚系列の理解と生成において急速に進歩しており、一方でビデオ世界モデルは、それが描く世界の背後にあるダイナミクスを捉えようとしている。目的は異なるものの、いずれも映像観測と変化する世界との関係に関わる。本サーベイは、これらの進展を検討するための統一的な視点として世界モデリングを採用する。観測された映像を、潜在的な時間的世界の部分的かつ情報損失を伴う、時間順序を持つ射影とみなし、文献を4つの相補的な操作(読み取り、書き出し、共有、相互作用)を中心に整理する。読み取りは観測映像から世界の性質を推論し、書き出しは指定または学習された世界条件から映像を合成し、共有は共通のモデル化機構を通じて理解と生成を統合し、相互作用は行動と変化する観測のもとで世界状態を予測・更新する。この視点は、観測または生成された系列における時間的整合性を、背後にある世界状態の一貫性から区別する。タスク、表現、モデル、データセット、ベンチマークを通じて、クリップ単位の認識や知覚的忠実度から、永続的な状態、制御可能な進化、物理的・因果的妥当性、相互作用と下流の意思決定に基づく評価へと重点が移行していることを跡付け、そこから生じる未解決の課題を抽出する。
One-sentence Summary
Researchers from University of Oxford, National University of Singapore, Nanyang Technological University, and University of California, Merced survey unified video world models by treating observed videos as partial, lossy, temporally ordered projections of latent temporal worlds and organizing methods around reading, writing, sharing, and interacting to advance persistent state, controllable evolution, physical and causal validity, and evaluation grounded in interaction and downstream decisions.