AceMath RewardBench는 NVIDIA가 2024년에 발표한 수학 보상 모델의 능력을 평가하기 위한 데이터셋으로, 관련 논문은 「AceMath: Advancing Frontier Math Reasoning with Post-Training and Reward Modeling」이며, best-of-N(N=8) 설정을 통해 수학 추론 보상 모델의 성능을 종합적으로 측정하는 것을 목표로 합니다.

이 데이터셋은 GSM8K(1319문제), Math500(500문제), Minerva Math(272문제), Gaokao 2023 en(385문제), OlympiadBench(675문제), College Math(2818문제), MMLU STEM(3018문제) 등 총 7개 데이터셋의 샘플을 포함합니다. 각 샘플은 수학 문제 하나, Qwen2/2.5-Math, LLama3.1, Mathtral, deepseek-math 등 8개의 서로 다른 언어 모델이 생성한 64개의 다양한 품질의 답변 시도, 각 답변의 실제 정답 점수, 문제 난이도 및 주제 영역과 같은 메타데이터로 구성됩니다. 이 벤치마크는 다양성과 견고성에 중점을 두며, 100개의 무작위 시드를 통해 무작위 샘플링하여 평균 결과를 평가합니다.

데이터셋 구성

데이터셋에는 다음 필드가 포함됩니다:

• question: 수학 문제의 텍스트 설명
• code: 모델이 생성한 전체 답변/해결 방법 목록
• gt: 실제 정답
• pred: 각 모델 응답에서 추출된 예측 결과 목록
• score: 각 응답이 실제 정답과 일치하는지 여부를 나타내는 불리언 값 목록
• report: 관련 보고서
• idx: 인덱스
• gt_cot: 실제 정답 사고 과정

Citation

@article{acemath2024,
  title={AceMath: Advancing Frontier Math Reasoning with Post-Training and Reward Modeling},
  author={Liu, Zihan and Chen, Yang and Shoeybi, Mohammad and Catanzaro, Bryan and Ping, Wei},
  journal={arXiv preprint},
  year={2024}
}