MATH 데이터셋을 사용한 수학 문제 해결 측정

많은 지적 노력이 수학 문제 해결을 요구하지만, 이 기술은 여전히 컴퓨터의 능력 범위를 벗어나 있습니다. 기계 학습 모델에서 이러한 능력을 측정하기 위해, 우리는 12,500개의 어려운 경쟁 수학 문제로 구성된 새로운 데이터셋인 MATH를 소개합니다. MATH의 각 문제는 단계별 완전한 해답을 포함하고 있어, 모델이 답 도출 과정과 설명을 생성하도록 가르치는 데 사용될 수 있습니다. 미래 연구를 촉진하고 MATH에서의 정확도를 높이기 위해, 우리는 수학의 기본 개념을 가르치는 데 도움이 되는 큰 보조 사전 훈련 데이터셋도 제공합니다. 우리는 MATH에서의 정확도를 높일 수 있었지만, 결과는 거대한 트랜스포머 모델들조차도 정확도가 여전히 상당히 낮다는 것을 보여줍니다. 더욱이, 확장 추세가 계속된다면 단순히 예산과 모델 매개변수 개수를 증가시키는 것이 강력한 수학적 추론을 달성하는 데 실질적이지 않을 것으로 판단됩니다. 트랜스포머 확장은 대부분의 다른 텍스트 기반 작업을 자동으로 해결하고 있지만, 현재로서 확장은 MATH를 해결하지 못하고 있습니다. 수학 문제 해결에 더 많은 진전을 이루려면, 더 넓은 연구 커뮤니티로부터 새로운 알고리즘적 발전이 필요할 것입니다.