Nemotron-MIND는 NVIDIA가 2024년에 발표한 1,380억 개 이상의 토큰으로 구성된 구조화된 수학 대화 데이터셋으로, 2억 3,160만 개의 레코드와 총 827GB의 저장 용량을 포함하며, 토론, 문제 해결, 교사-학생 대화 등 일곱 가지 다양한 사회적 대화 스타일을 다룹니다. 관련 연구 논문은 「MIND: Math Informed syNthetic Dialogues for Pretraining LLMs」이며, 합성 대화 데이터를 통해 대규모 언어 모델의 수학 추론 능력을 향상시키는 것을 목표로 합니다.

데이터셋 구성

• TWO STUDENTS: 두 학생 간의 대화.
• TEACHER STUDENT: 교사와 학생 간의 대화.
• TWO PROFESSORS: 두 교수 간의 대화.
• DEBATE: 토론 형식의 대화.
• PROBLEM SOLVING: 문제 분석 및 해결 중심의 대화.
• LAYMAN KNOWALL: 비전문가의 전지적 시점 스타일의 대화.
• INTERVIEW: 인터뷰 형식의 대화.

Citation

@inproceedings{
akter2025mind,
title={{MIND}: Math Informed syNthetic Dialogues for Pretraining {LLM}s},
author={Syeda Nahida Akter and Shrimai Prabhumoye and John Kamalu and Sanjeev Satheesh and Eric Nyberg and Mostofa Patwary and Mohammad Shoeybi and Bryan Catanzaro},
booktitle={The Thirteenth International Conference on Learning Representations},
year={2025},
url={https://openreview.net/forum?id=TuOTSAiHDn}
}