대화형 사고 추론이 LLM의 환상인가? 데이터 분포의 관점에서

사고의 흐름(Chain-of-Thought, CoT) 프롬프팅은 다양한 작업에서 대규모 언어 모델(Large Language Model, LLM)의 성능을 향상시킨다는 점이 입증되었다. 이 접근법을 통해 LLM은 답변을 제시하기 전에 인간과 유사한 추론 과정을 생성하는 것처럼 보이는데(이를 CoT 추론이라 부르며), 이러한 과정은 모델이 의도적인 추론 과정을 수행하는 것처럼 인식되게 한다. 그러나 초기 연구 결과들은 CoT 추론이 보이는 것만큼 깊이 있는 것 같지 않다는 점을 시사하며, 이를 더 깊이 탐구할 필요성을 제기한다. 본 논문에서는 CoT 추론을 데이터 분포 관점에서 분석하고, CoT 추론이 훈련 데이터 내에서 학습된 구조적인 귀납적 편향(inductive bias)을 반영하는지, 즉 훈련 과정에서 관찰된 추론 경로를 근사하는 조건부 추론 경로를 생성할 수 있는지 조사한다. 따라서 CoT 추론의 효과성은 훈련 데이터와 테스트 쿼리 간의 분포 불일치 정도에 본질적으로 제한된다. 이러한 관점에서, 우리는 작업(task), 길이(length), 형식(format)의 세 가지 차원을 통해 CoT 추론을 분석한다. 각 차원을 조사하기 위해, LLM을 처음부터 격리된 통제된 환경에서 훈련하고 다양한 분포 조건 하에서 체계적으로 탐구할 수 있도록 설계된 ‘DataAlchemy’를 개발하였다. 연구 결과는 CoT 추론이 훈련 분포를 초월하면 사라지는 취약한 환상임을 보여준다. 본 연구는 CoT 추론이 왜, 언제 실패하는지에 대한 깊이 있는 이해를 제공하며, 진정성 있고 일반화 가능한 추론을 달성하는 데 여전히 큰 도전이 있음을 강조한다.