교수법에서 영감을 받은 통합 프롬프팅 프레임워크: 대형 언어 모델의 추론 능력 향상을 위한 새로운 접근 방식

대형 언어 모델(LLMs)은 다양한 분야에서 뛰어난 성능을 보이지만, 여전히 산술 추론 작업에서는 어려움을 겪고 있습니다. 최근 연구는 프롬프트 설계 방법이 추론 능력을 향상시키는 데 효과적임을 보여주었습니다. 그러나 이러한 접근 방식은 대부분의 산술 추론 문제를 성공적으로 해결하기 위해 필요한 특정 개념, 정리, 그리고 기법에 대한 사전 지식의 중요한 요구사항을 간과하고 있습니다. 이 문제를 해결하기 위해, 우리는 교사가 학생들을 안내하는 과정을 모방한 새로운이고 효과적인 '교수 영감 통합 프레임워크'를 제안합니다. 이 방법은 LLMs에게 필수적인 개념, 관련 정리, 유사한 문제와 비슷한 해결 방법을 제공하여 추론 능력 향상을 촉진합니다. 또한, 우리는 상세한 설명과 답변이 포함된 두 개의 새로운 중국어 데이터셋인 MathMC와 MathToF를 소개합니다. 아홉 가지 벤치마크에서 수행된 실험은 우리의 접근 방식이 LLMs의 추론 정확도를 개선함을 입증합니다. GPT-4와 우리의 프레임워크를 사용하여 AddSub, SVAMP, Math23K 및 AQuA 네 가지 수학 벤치마크에서 새로운 최고 수준의 성능(정확도 98.2% (+3.3%), 93.9% (+0.2%), 94.3% (+7.2%), 81.1% (+1.2%))을 달성했습니다. 우리의 데이터와 코드는 https://github.com/SallyTan13/Teaching-Inspired-Prompting 에서 확인할 수 있습니다.