HyperAI
Command Palette
Search for a command to run...
通过视频对世界进行读取、写入、共享与交互:面向统一视频世界模型的综述
通过视频对世界进行读取、写入、共享与交互:面向统一视频世界模型的综述
Shengqiong Wu Meng Luo Bobo Li Ziwei Liu Shuicheng Yan Ming-Hsuan Yang Philip Torr Hao Fei
目录
摘要
视频基础模型在理解与生成视觉序列方面发展迅速,而视频世界模型旨在捕捉其所描绘世界的底层动态。尽管二者目标不同,它们都关注视频观测与不断演化世界之间的关系。本综述将世界建模作为统一视角来审视这些进展。我们将观测视频视为潜在时序世界的一种部分、有损且按时间排序的投影,并围绕四种互补操作组织文献:读取(reading)从观测视频中推断世界属性;写入(writing)从指定或学习到的世界条件合成视频;共享(sharing)通过共同的建模机制整合理解与生成;交互(interacting)在动作和不断演化的观测下预测并更新世界状态。这一视角区分了观测或生成序列中的时序连贯性与底层世界状态的一致性。在任务、表示、模型、数据集和基准测试中,我们梳理出研究重点从片段级识别和感知保真度转向持久状态、可控演化、物理与因果有效性,以及基于交互和下游决策的评估,并提炼出随之而来的开放挑战。
一句话总结
来自牛津大学、新加坡国立大学、南洋理工大学和加州大学默塞德分校的研究人员对统一视频世界模型进行了综述,将观测视频视为潜在时序世界的部分、有损且时间有序的投影,并围绕读取、写入、共享和交互来组织方法,以推进持久状态、可控演化、物理与因果有效性,以及以交互和下游决策为基础的评估。