AI推理引擎Moondream近日公布Photon系统核心优化方案，旨在彻底消除自回归生成过程中的“GPU气泡”瓶颈。在典型大模型推理中，GPU需等待CPU完成调度、Token提取与状态同步等固定耗时操作后，方能执行下一轮计算，导致算力频繁闲置。为此，团队引入流水线解码技术，将CPU后台作业与GPU前向传播并行重叠。 该方案依托三大机制实现高效流水线：首先采用乒乓缓冲槽管理，确保前后推理步骤内存数据互不冲突；其次通过“先计算、后采样”架构，在满足约束解码逻辑的前提下使预测步骤提前执行；最后引入引用计数机制优雅处理已终止请求，避免中途取消引发的资源浪费。系统进一步打通预填充与解码阶段，实现同一流水线统一调度，显著提升短文本吞吐效率。 基准测试表明，该技术带来显著性能跃升。在B200等高端显卡上推理延迟最高降低逾35%，且优化收益随硬件算力提升而放大。Moondream强调，加速效果源于底层架构数十项细节的协同演进。目前Photon 2.0已启动研发，预期将进一步突破大模型实时服务性能边界。