OpenMath GSM8K Masked는 NVIDIA가 2024년에 수학 추론 작업을 위해 마스킹 처리한 데이터셋으로, 관련 논문 결과는 “OpenMathInstruct-1: A 1.8 Million Math Instruction Tuning Dataset”입니다. 이 데이터셋은 마스킹된 버전의 GSM8K 솔루션을 제공하여 추가적인 GSM8K 데이터셋 솔루션의 합성 생성을 지원하며, 원본 솔루션을 직접 사용하는 것보다 추론 불일치를 유발할 가능성이 낮습니다.

이 데이터셋은 180만 개의 질문-솔루션 쌍을 포함하는 수학 명령어 미세 조정 데이터셋인 OpenMathInstruct-1을 구축하는 데 사용되었으며, 생성에는 허용적인 라이선스를 가진 Mixtral-8x7B 모델이 활용되었습니다.

데이터셋 구성

데이터셋은 JSON 형식으로 저장되어 있으며, 총 7,473개의 샘플을 포함하는 train 데이터셋으로 구성됩니다:

• 질문(question): 원본 GSM8K 수학 응용 문제의 텍스트 내용.
• 마스킹된 해답(masked_reference_solution): 원본 해답 과정의 일부 주요 내용을 마스킹 처리한 것으로, 일반적으로 숫자나 중간 계산 결과 대신 문자 자리표시자를 사용하여 모델이 해답 단계를 완성하도록 합니다.
• 참고 해답(reference_solution): 원본 완전한 해답 과정으로, 마스킹된 버전과 대조하고 새로운 해답 생성을 보조하는 데 사용됩니다.
• 정답(expected_answer): 수학 문제에 해당하는 최종 답안으로, 생성된 결과의 정확성을 검증하는 데 사용할 수 있습니다.

인용

@article{toshniwal2024openmath,
  title   = {OpenMathInstruct-1: A 1.8 Million Math Instruction Tuning Dataset},
  author  = {Shubham Toshniwal and Ivan Moshkov and Sean Narenthiran and Daria Gitman and Fei Jia and Igor Gitman},
  year    = {2024},
  journal = {arXiv preprint arXiv: Arxiv-2402.10176}
}