Samuel Lewis-Lim Xingwei Tan Zhixue Zhao Nikolaos Aletras

초록

최근 연구에서는 체인오브스스(Chain-of-Thought, CoT)가 분석적 사고 및 보편적 지식 기반 추론과 같은 소프트 추론 문제에서 종종 제한된 성과를 보인다는 것이 입증되었다. 또한 CoT는 모델의 실제 추론 과정과 일치하지 않을 수 있다. 본 연구는 지시 조정형, 추론 전용 및 추론 정제형 모델들에서 소프트 추론 과제에 대한 CoT의 동적 특성과 신뢰성(정확성)을 조사한다. 연구 결과, 이러한 모델들이 CoT에 의존하는 방식에 차이가 있음을 밝혀냈으며, CoT의 영향력과 신뢰성은 항상 일치하지 않는다는 점을 확인하였다.