摘要

尽管自回归的“下一词预测”（next-token prediction）被视为通向人工通用智能（AGI）的一条有前景路径，但在多模态任务中仍表现欠佳，这些任务目前仍由扩散模型（如Stable Diffusion）和组合式方法（如CLIP与大语言模型LLM结合）主导。本文提出Emu3，一套全新的、基于下一词预测训练的最先进多模态模型。通过将图像、文本和视频统一映射到离散的token空间，我们在多模态序列的混合数据上从零开始训练单一的Transformer模型。Emu3在生成与感知类任务中均显著超越多个成熟且任务专用的模型，性能超过Stable Diffusion XL（SDXL）和LLaVA-1.6等旗舰模型，同时无需依赖扩散模型或组合式架构。此外，Emu3还能够通过在视频序列中预测下一token，生成高保真度的视频内容。我们通过聚焦于“token”这一核心概念，简化了复杂多模态模型的设计，为训练与推理阶段的可扩展性释放了巨大潜力。实验结果表明，下一词预测是构建超越语言的通用多模态智能的可行路径。我们已开源关键技术和模型，以推动该方向的进一步研究。