连续思维链 Coconut
连续思维链(Coconut,全称为 Chain of Continuous Thought)是由 Meta 和加州大学圣地亚哥分校的研究者于 2024 年 12 月提出的新范式,旨在探索大型语言模型 (LLM) 在不受限制的潜在空间中的推理潜力,具体成果体现在论文「Training Large Language Models to Reason in a Continuous Latent Space」中。
Coconut 将推理过程从传统的语言空间中解放出来,允许模型直接在连续的潜在空间中进行推理。这种方法不再依赖于语言模型头和嵌入层来映射隐藏状态与语言 token,而是将模型的最后一个隐藏状态(即连续思维)直接作为下一个 token 的输入嵌入。这样的修改使得模型能够在不受自然语言限制的情况下进行推理,并且由于连续思维是完全可微的,可以通过梯度下降对系统进行端到端优化。
论文中提到,Coconut 在某些需要大量回溯的逻辑推理任务中优于传统的链式思维(Chain of Thought,简称 CoT),并且在推理过程中生成的 token 更少,表明潜在空间推理在需要广泛规划的复杂任务中具有明显优势。