초록
최근 대규모 언어 모델(LLM)의 발전은 놀라운 진전을 보였지만, 복잡한 문제를 해결하는 능력은 여전히 제한되어 있다. 본 연구에서는 인간의 사고 과정을 모방하여 LLM을 누적적이고 반복적으로 활용하는 '누적적 추론(Cumulative Reasoning, CR)'을 제안한다. CR은 문제를 더 작고 관리하기 쉬운 구성 요소로 분해하고, 이전에 도출된 가정들을 효과적으로 활용하여 문제 해결 능력을 크게 향상시킨다. 다양한 복잡한 추론 과제를 통해 CR의 우수성을 입증하였다. 논리적 추론 과제에서는 기존 방법 대비 최대 9.3% 향상된 성능을 보이며, 정제된 FOLIO 위키 데이터셋에서 98.04%의 정확도를 달성하였다. 24의 게임에서는 98%의 정확도를 기록하여 기존 최고 성능 대비 24% 향상되었다. MATH 문제 해결에서는 기존 방법 대비 4.2% 향상되었으며, 특히 가장 어려운 수준 5 문제에서는 상대적으로 43%의 성능 향상을 보였다. CR에 코드 환경을 통합함으로써 LLM의 추론 능력을 더욱 극대화하였으며, 이는 '사고 프로그램(Program of Thought, PoT)' 방법보다 38.8% 뛰어난 성능을 기록하였다. 코드는 https://github.com/iiis-ai/cumulative-reasoning 에서 확인할 수 있다.