GSM8K에서 97% 이상 달성하기: 문제를 깊이 이해하는 것이 LLM이 수학 단어 문제를 더 잘 해결하게 만든다

사고의 흐름(Chain-of-Thought, CoT) 프롬프팅은 다양한 추론 과제에서 대규모 언어 모델(Large Language Models, LLMs)의 성능을 향상시켰다. 그러나 CoT는 복잡한 수학 문제 해결 과제에서는 여전히 한계를 보이며, 주로 세 가지 문제점—의미 오해 오류, 계산 오류, 단계 누락 오류—에 시달리고 있다. 기존 연구들은 계산 오류와 단계 누락 오류를 해결하는 데 초점을 맞추었으나, LLM의 추론 성능을 제약하는 주요 요인인 의미 오해 오류는 간과해왔다. 이를 해결하기 위해, 우리는 의미 오해 오류를 극복함으로써 LLM의 수학 문제 해결 능력을 향상시키는 간단하면서도 효과적인 방법인 '문제의 깊이 있는 이해(Depth Understanding the Problems, DUP)'를 제안한다. 본 방법의 핵심은 LLM이 문제를 깊이 이해하도록 유도하고, 보다 정교한 추론을 위해 핵심적인 문제 해결 정보를 효과적으로 추출하도록 하는 것이다. 10개의 다양한 추론 벤치마크에서 실시한 광범위한 실험 결과, 본 DUP 방법은 다른 대조 기법들에 비해 일관되게 뛰어난 성능을 보였다. 더욱 흥미로운 점은, DUP가 제로샷(zero-shot) 설정에서 GSM8K 벤치마크에서 기존 최고 성능(SOTA)을 초과하여 정확도 97.1%를 달성했다는 점이다.