一句话总结

Alaya Lab 推出 AlayaWorld，一个全栈开源框架，能够从游戏玩法和现实世界视频中自回归地生成长时域、交互式的视频世界，并统一数据准备、模型训练、推理加速和部署，以提供实时、可玩、包含多样化动作的环境，从而推动面向游戏和具身智能的生成式世界模型发展。

核心贡献

• 论文提出了 AlayaWorld，一个面向交互式生成世界的全栈开源框架，支持实时、开放式的用户交互，包括自由导航以及战斗、施法和召唤怪物等动作。
• 该框架集成了自回归扩散Transformer、提示词切换机制、AdaLN风格的相机控制模块、3D缓存、历史压缩模块、错误银行和少步蒸馏。
• 发布内容包括可复现的流水线、参考实现、评估工具和全面的文档，为生成式世界模型的未来研究和实时应用提供了实用基础。

引言

交互式虚拟世界对3D游戏和具身AI研究至关重要，agent需要在响应动作时获得连贯、持久的观察。传统的制作管线需要昂贵的手动资产和规则设定，导致世界是预定义的且难以扩展。以用户输入为条件生成未来帧的视频世界模型提供了一种更可扩展、数据驱动的替代方案，但它们仍面临无限控制、时空一致性、长时域稳定性和实时运行等挑战。作者回顾了这些挑战，并介绍了AlayaWorld，一个自回归DiT，结合了提示词切换机制、AdaLN风格的相机控制模块、3D缓存、历史压缩、错误银行和少步蒸馏，以提供一个可玩的开源生成式世界系统。

方法

AlayaWorld是一个全栈交互式生成世界框架，通过在LTX-2.3视频骨干上进行微调，并集成一组专为解决交互、一致性、稳定性和运行时这四个核心挑战而设计的模块。系统旨在支持实时探索和动态用户动作，同时保持长时域和回访场景下的视觉连贯性。

交互模块支持两种互补模式。对于导航，作者将显式渲染证据与轻量级架构注入相结合。系统维护一个从深度反投影帧构建的3D缓存，并持续根据玩家目标相机轨迹进行渲染。该渲染缓存为生成器提供了查询视点的空间锚定视觉证据，改善了轨迹跟踪和跨视角一致性。相机条件随后通过AdaLN风格的调制被注入到骨干网络中，这引入了最小的参数和计算开销，同时保持了响应式控制所需的效率。第二种模式，提示词驱动的动作，支持自由触发的事件，如施法或武器战斗。作者引入了一种块粒度的提示词切换机制：文本条件可以在任何块边界被替换，从而新生成的内容不会影响之前生成的帧，并避免重新生成已有序列。这使世界能够对变化的用户意图做出反应，无需全序列重新生成。

长时域和重访中的一致性由一个双记忆系统处理。作者认识到空间记忆（按视角索引）和时间记忆（按新近度索引）是互补的。遵循显式几何锚定的原则，3D缓存被维护并重投影到查询视点，为先前观察到的区域提供空间锚定证据，在闭环轨迹下保证地点身份。然而，由于静态缓存无法编码近期的时序动态，系统额外将近期帧历史压缩为轻量级嵌入，采用类似于帧保留的方法。显式空间缓存为重访地点提供持久性，而压缩的时间历史保留短期运动和瞬态变化，两者共同覆盖了纯空间或纯时间记忆的失效模式。

长前向 rollout 的稳定性被视为训练时的鲁棒性问题。作者遵循Helios的理念，在训练期间将模型暴露于偏移的历史，使生成器学会纠正错误，而不是依赖干净的条件片段。他们进一步引入了一个错误银行，存储 rollout 期间累积的残差伪影，并将其作为结构化扰动重用。关键的是，错误银行样本被注入到记忆条件和目标片段中，匹配长时域推理的条件，即模型必须从不完美的记忆中生成，同时纠正下一片段中的错误。这种联合扰动教会模型在损坏的历史下稳定生成，并防止错误自回归地累积。

对于运行时，目标是在交互约束下实现实时生成。作者采用标准的基于DMD的蒸馏来减少每块去噪步数。使用较小的时序块大小以保持每块的低延迟，并允许频繁的条件更新点。提示词切换在块边界通过在下个块生成前简单地更新文本条件来支持，这避免了繁重的KV重缓存机制，并保持交互循环简单且可预测。这种少步蒸馏、短块和频繁提示词切换的结合，提供了响应式、用户驱动探索所需的速度、交互粒度和可控性。

实验

AlayaWorld从LTX-2.3微调用于自回归720p生成，在相同条件下与基线进行比较。实验展示了精确的相机控制，生成中途切换文本提示词时的无缝过渡，以及强大的闭环一致性，重访区域在几何和纹理上保持稳定。与先前展现视觉退化和相机不准确的交互世界模型不同，AlayaWorld在长时域和多种艺术风格下保持忠实的控制遵循和视觉质量，证实了其可靠的交互世界生成。