Coconut (Chain of Continuous Thought) は、Meta とカリフォルニア大学サンディエゴ校の研究者によって 2024 年 12 月に提案された新しいパラダイムで、大規模言語モデル (LLM) の推論の可能性を無制限に探索することを目的としています。連続潜在空間で推論するための大規模な言語モデルのトレーニング"真ん中。

Coconut は推論プロセスを従来の言語空間から解放し、モデルが連続潜在空間で直接推論できるようにします。このメソッドは、隠れ状態と言語トークンをマッピングするために言語モデルのヘッダーと埋め込み層に依存しなくなりましたが、モデルの最後の隠れ状態 (つまり、継続的思考) を次のトークンの入力として直接埋め込みます。このような変更により、モデルは自然言語の制約なしで推論できるようになり、継続的な思考は完全に微分可能であるため、勾配降下法を介してシステムをエンドツーエンドで最適化できます。

この論文では、多くのバックトラッキングを必要とする一部の論理推論タスクでは、従来の思考連鎖 (CoT) よりも Coconut が優れており、推論プロセス中に生成されるトークンが少ないと述べています。これは、潜在空間推論が複雑なタスクにおける利点を明らかにする必要があることを示しています。広範な計画。