OpenMathInstruct-1은 NVIDIA가 2024년에 공개한 180만 쌍의 문제-해결책 쌍으로 구성된 수학 지시微调(Instruction Tuning) 데이터셋으로, 관련 논문은 "OpenMathInstruct-1: A 1.8 Million Math Instruction Tuning Dataset"이며, 합성 데이터를 통해 모델의 수학 추론 및 코드 생성 능력을 향상시키는 것을 목표로 합니다.

이 데이터셋에는 GSM8K 및 MATH 훈련 하위 집합의 문제가 포함되어 있으며, 해결책은 Mixtral-8x7B 모델이 텍스트 추론과 Python 코드 인터프리터 실행을 결합하여 생성했습니다. 데이터셋은 훈련 세트와 검증 세트로 나뉘며, GSM8K 및 MATH의 전체 훈련 세트 범위를 포괄하고, 기대 답변, 예측 답변, 오류 정보 등 상세한 필드 정보를 제공합니다.

데이터셋 구성

이 데이터셋에는 다음 필드가 포함됩니다:

• question: GSM8K 또는 MATH 훈련 세트의 원본 문제.
• generated_solution: 텍스트 추론과 코드 블록이 혼합된 합성 해결책.
• expected_answer: 원본 데이터셋에 제공된 정답(ground truth).
• predicted_answer: Mixtral 모델이 해당 해결책에서 추출한 답변(\boxed{}에서 추출).
• error_message: 코드를 사용하지 않은 경우 <not_executed>이며, 그렇지 않으면 비어 있거나 해당 코드 블록의 Python 예외가 포함됩니다. 'timeout' 문자열은 코드 블록 실행 시간이 10초를 초과했음을 나타냅니다.
• is_correct: 최종 답변이 채점 스크립트에 의해 정답으로 판정되었는지 여부.
• dataset: 출처 데이터셋, gsm8k 또는 math.
• generation_type: without_reference_solution 또는 masked_reference_solution.

Citation

@article{toshniwal2024openmath,
  title   = {OpenMathInstruct-1: A 1.8 Million Math Instruction Tuning Dataset},
  author  = {Shubham Toshniwal and Ivan Moshkov and Sean Narenthiran and Daria Gitman and Fei Jia and Igor Gitman},
  year    = {2024},
  journal = {arXiv preprint arXiv: Arxiv-2402.10176}
}