Qinglin Zhu Yizhen Yao Runcong Zhao Yanzheng Xiang Amrutha Saseendran Chen Jin Philip Alexander Teare Bin Liang Yulan He Lin Gui

摘要

自回归（AR）模型仍是自然语言生成的标准方法，但由于严格的序列解码机制，仍存在高延迟问题。近年来，受扩散模型启发的方法（如 LlaDA 和 Dream）通过并行生成缓解了这一问题，但其仍存在两个核心局限：信息丢失，即在每一步中，非最终化标记的预测分布被丢弃；以及过早确定，即在缺乏充分全局协调的情况下做出局部决策。为此，我们提出隐变量精炼解码（Latent Refinement Decoding, LRD），一种包含隐变量精炼与预测反馈机制的两阶段框架。第一阶段将未确定位置建模为预测标记与掩码嵌入的分布混合，使模型能够建立更全局一致的信念。第二阶段逐步确定置信度高的标记，同时保留不确定性较高的标记以进行迭代反馈。KL 散度动态变化提供了具有理论依据且可靠的收敛判断与提前停止准则。在代码生成（HumanEval 提升 +6.3，MBPP 提升 +2.6）和推理任务（GSM8K 提升 +2.9，MATH500 提升 +3.8）上的实验表明，LRD 在提升准确率的同时，实现了最高达 10.6 倍的加速，成为并行序列生成领域一种强大且通用的替代方案。