AceMath RM Training Data는 NVIDIA가 2024년에 공개한 수학 결과 보상 모델(Outcome Reward Modeling) 훈련용 데이터셋으로, 관련 논문은 「AceMath: Advancing Frontier Math Reasoning with Post-Training and Reward Modeling」이며, 대규모 언어 모델의 수학 추론 작업 성능을 향상시키는 것을 목표로 합니다.

이 데이터셋은 356,058개의 고유한 수학 문제와 총 2,136,348개의 샘플로 구성되어 있으며, 각 문제는 6개의 서로 다른 응답을 포함합니다. 데이터는 주로 AceMath-7B 및 AceMath-72B 보상 모델을 훈련하는 데 사용되며, 모델 응답의 정확성을 평가하여 수학 추론 능력을 최적화합니다. 여러 벤치마크 테스트에서 이 데이터로 훈련된 모델은 뛰어난 수학 추론 성능을 보여주며, 다양한 주요 오픈소스 및 독점 모델을 능가합니다.

데이터셋 구성

데이터셋은 주로 다음 필드와 구조를 포함합니다:

• qid: 고유한 문제 식별자.
• message: 시스템 프롬프트, 사용자 질문 및 어시스턴트의 단계별 솔루션을 포함한 대화 목록입니다. 각 메시지에는 role(역할, 예: system, user, assistant)과 content(내용)가 포함됩니다.
• label: 이진 분류 레이블로, 응답의 정확성/우수성을 나타냅니다(1은 정확함, 0은 오류).

데이터 형식은 JSON 객체 목록으로, 로드 및 훈련에 직접 사용할 수 있습니다. 각 샘플은 하나의 수학 문제와 여러 후보 답변의 비교 데이터를 나타냅니다.

Citation

@article{acemath2024,
  title={AceMath: Advancing Frontier Math Reasoning with Post-Training and Reward Modeling},
  author={Liu, Zihan and Chen, Yang and Shoeybi, Mohammad and Catanzaro, Bryan and Ping, Wei},
  journal={arXiv preprint},
  year={2024}
}