지속적인 사고 체인 코코넛

코코넛(Chain of Continuous Thought)은 2024년 12월 메타와 캘리포니아 대학교 샌디에이고의 연구자들이 제안한 새로운 패러다임입니다. 이는 제한 없는 잠재 공간에서 대규모 언어 모델(LLM)의 추론 잠재력을 탐색하는 것을 목표로 합니다. 구체적인 결과는 논문에 반영되어 있습니다.연속적인 잠재 공간에서 추론하기 위한 대규모 언어 모델 훈련"가운데.

코코넛은 추론 과정을 기존 언어 공간에서 해방시켜 모델이 연속적인 잠재 공간에서 직접 추론할 수 있도록 합니다. 이 접근 방식은 더 이상 언어 모델 헤드와 임베딩 계층에 의존하여 숨겨진 상태를 언어 토큰에 매핑하지 않고 대신 모델의 마지막 숨겨진 상태(즉, 연속적 사고)를 다음 토큰의 입력으로 직접 임베드합니다. 이러한 수정을 통해 모델은 자연어의 제약 없이 추론할 수 있으며, 연속적 사고는 완전히 미분 가능하므로 경사 하강을 통해 시스템을 종단 간에 최적화할 수 있습니다.

이 논문에서는 코코넛이 많은 역추적이 필요한 특정 논리적 추론 작업에서 기존의 사고의 사슬(CoT)보다 성능이 뛰어나고 추론 과정에서 더 적은 토큰을 생성한다고 언급했습니다. 이는 잠재 공간 추론이 광범위한 계획이 필요한 복잡한 작업에서 확실한 이점이 있음을 나타냅니다.