连续思维链 Coconut

连续思维链（Coconut，全称为 Chain of Continuous Thought）是由 Meta 和加州大学圣地亚哥分校的研究者于 2024 年 12 月提出的新范式，旨在探索大型语言模型 (LLM) 在不受限制的潜在空间中的推理潜力，具体成果体现在论文「Training Large Language Models to Reason in a Continuous Latent Space」中。

Coconut 将推理过程从传统的语言空间中解放出来，允许模型直接在连续的潜在空间中进行推理。这种方法不再依赖于语言模型头和嵌入层来映射隐藏状态与语言 token，而是将模型的最后一个隐藏状态（即连续思维）直接作为下一个 token 的输入嵌入。这样的修改使得模型能够在不受自然语言限制的情况下进行推理，并且由于连续思维是完全可微的，可以通过梯度下降对系统进行端到端优化。

论文中提到，Coconut 在某些需要大量回溯的逻辑推理任务中优于传统的链式思维（Chain of Thought，简称 CoT），并且在推理过程中生成的 token 更少，表明潜在空间推理在需要广泛规划的复杂任务中具有明显优势。