ToRA: 수학 문제 해결을 위한 도구 통합 추론 에이전트

대규모 언어 모델은 다양한 언어 작업에서 큰 진전을 이루었지만, 복잡한 수학 문제 해결에서는 여전히 어려움을 겪고 있다. 본 논문에서는 자연어 추론과 외부 도구(예: 계산 라이브러리 및 기호 해소기)의 활용을 원활하게 통합함으로써 도전적인 수학 문제를 해결하도록 설계된 도구 통합 추론 에이전트인 ToRA를 제안한다. 이를 통해 언어 모델의 분석적 능력과 도구의 계산 효율성을 결합한다. ToRA를 훈련하기 위해 수학 데이터셋 기반의 상호작용형 도구 사용 트래잭터리를 수집하고, annotation을 기반으로 이미테이션 학습을 적용하며, 모델의 추론 행동을 더욱 정교하게 개선하기 위해 출력 공간 형상화(output space shaping) 기법을 제안한다. 그 결과, ToRA 모델은 모든 규모에서 10개의 수학 추론 데이터셋에서 오픈소스 모델들을 크게 능가하며 평균적으로 13~19%의 절대적 성능 향상을 달성하였다. 특히 ToRA-7B는 경쟁 수준의 데이터셋인 MATH에서 44.6%의 정확도를 기록하여 기존 최고의 오픈소스 모델인 WizardMath-70B보다 22%의 절대적 우위를 보였다. 또한 ToRA-Code-34B는 MATH에서 정확도가 50%를 초과하는 최초의 오픈소스 모델로, GPT-4의 CoT(사고 과정) 결과를 크게 능가하며 프로그램 기반 문제 해결 능력에서 GPT-4와 경쟁 가능한 성능을 보였다. 마지막으로, 도구 상호작용이 수학 추론에 미치는 이점과 여전히 남아 있는 과제에 대해 종합적인 분석을 수행하여 향후 연구에 유의미한 통찰을 제공한다.