摘要
我们提出4DNeX，这是首个从单张图像生成4D（即动态三维）场景表示的前馈式框架。与依赖计算密集型优化或需要多帧视频输入的现有方法不同，4DNeX通过微调预训练的视频扩散模型，实现了高效、端到端的图像到4D生成。具体而言，本工作包含以下四方面创新：1）为缓解4D数据稀缺问题，我们构建了4DNeX-10M——一个大规模高质量4D标注数据集，其4D注释通过先进的重建方法生成；2）我们提出一种统一的6D视频表示，联合建模RGB与XYZ序列，从而促进外观与几何结构的协同学习；3）我们设计了一套简单而有效的适配策略，将预训练的视频扩散模型重新用于4D建模任务。4DNeX能够生成高质量的动态点云，支持新视角视频的合成。大量实验表明，4DNeX在效率与泛化能力方面均优于现有4D生成方法，为图像到4D建模提供了一种可扩展的解决方案，并为生成式4D世界模型（能够模拟动态场景演化）的发展奠定了基础。