摘要

四维世界建模（4D world modeling）这一领域致力于联合捕捉空间几何结构与时间动态变化，近年来取得了显著进展，这主要得益于大规模生成模型和多模态学习技术的发展。然而，真正通用的四维世界模型的开发仍受到高质量数据可用性的根本性制约。现有的数据集和基准测试通常缺乏支持关键任务（如四维几何重建、未来预测以及相机控制的视频生成）所必需的动态复杂性、多领域多样性以及时空标注信息。为弥补这一空白，我们提出了OmniWorld——一个大规模、多领域、多模态的数据集，专为四维世界建模而设计。OmniWorld由新采集的OmniWorld-Game数据集以及若干经过筛选的公共数据集构成，覆盖多种应用场景。与现有合成数据集相比，OmniWorld-Game在模态覆盖范围、数据规模和动态交互的真实性方面均更具优势。基于该数据集，我们建立了一个具有挑战性的基准测试，揭示了当前最先进（SOTA）方法在建模复杂四维环境时的局限性。此外，将现有SOTA方法在OmniWorld上进行微调，即可在四维重建和视频生成任务中显著提升性能，充分验证了OmniWorld作为训练与评估强大资源的价值。我们期望OmniWorld能够成为推动通用四维世界模型发展的催化剂，最终促进机器对物理世界的全面理解。