Coconut (Chain of Continuous Thought) est un nouveau paradigme proposé par des chercheurs de Meta et de l'Université de Californie à San Diego en décembre 2024. Il vise à explorer le potentiel de raisonnement des grands modèles de langage (LLM) dans des espaces latents non restreints. Les résultats spécifiques sont reflétés dans le document «Entraîner de grands modèles de langage à raisonner dans un espace latent continu"milieu.

Coconut libère le processus de raisonnement de l’espace linguistique traditionnel et permet au modèle de raisonner directement dans l’espace latent continu. Cette approche ne s'appuie plus sur la tête du modèle de langage et sur la couche d'intégration pour mapper les états cachés aux jetons de langage, mais intègre directement le dernier état caché du modèle (c'est-à-dire la pensée continue) comme entrée du jeton suivant. De telles modifications permettent au modèle de raisonner sans les contraintes du langage naturel, et comme la pensée continue est entièrement différentiable, le système peut être optimisé de bout en bout via la descente de gradient.

L'article mentionne que Coconut surpasse la chaîne de pensée traditionnelle (CoT) dans certaines tâches de raisonnement logique qui nécessitent beaucoup de retour en arrière, et génère moins de jetons pendant le processus de raisonnement, indiquant que le raisonnement dans l'espace latent présente des avantages évidents dans les tâches complexes qui nécessitent une planification approfondie.