Kontinuierliche Denkkette Kokosnuss

Coconut (Chain of Continuous Thought) ist ein neues Paradigma, das im Dezember 2024 von Forschern von Meta und der University of California, San Diego, vorgeschlagen wurde. Ziel ist es, das Denkpotenzial großer Sprachmodelle (LLMs) in uneingeschränkten latenten Räumen zu erforschen. Die konkreten Ergebnisse sind in dem Papier wiedergegeben „Training großer Sprachmodelle zum Schlussfolgern in einem kontinuierlichen latenten Raum"Mitte.

Coconut befreit den Denkprozess vom traditionellen Sprachraum und ermöglicht dem Modell, direkt im kontinuierlichen latenten Raum zu denken. Dieser Ansatz verlässt sich nicht mehr auf den Kopf und die Einbettungsebene des Sprachmodells, um verborgene Zustände Sprachtoken zuzuordnen, sondern bettet stattdessen den letzten verborgenen Zustand des Modells (d. h. den kontinuierlichen Gedanken) direkt als Eingabe des nächsten Tokens ein. Solche Modifikationen ermöglichen es dem Modell, ohne die Einschränkungen der natürlichen Sprache zu schlussfolgern, und da kontinuierliches Denken vollständig differenzierbar ist, kann das System durchgängig per Gradientenabstieg optimiert werden.

In dem Artikel wurde erwähnt, dass Coconut bei bestimmten logischen Denkaufgaben, die viel Zurückverfolgen erfordern, herkömmliche Gedankenketten (Chain of Thought, CoT) übertrifft und während des Denkprozesses weniger Token generiert. Dies deutet darauf hin, dass Latent Space Reasoning bei komplexen Aufgaben, die umfangreiche Planung erfordern, offensichtliche Vorteile bietet.