Nemotron-MIND は、NVIDIA が 2024 年に公開した、1,380 億以上のトークンを含む構造化された数学対話のデータセットであり、2 億 3,160 万件のレコード、総ストレージ容量 827 GB を有し、討論、問題解決、教師と生徒の対話など、7 つの異なる社会的対話スタイルを網羅しています。関連する論文成果は「MIND: Math Informed syNthetic Dialogues for Pretraining LLMs」であり、合成対話データを通じて大規模言語モデルの数学的推論能力を向上させることを目的としています。

データセット構成

• TWO STUDENTS：2 人の学生間の対話。
• TEACHER STUDENT：教師と学生間の対話。
• TWO PROFESSORS：2 人の教授間の対話。
• DEBATE：討論形式の対話。
• PROBLEM SOLVING：問題の分析と解決を中心とした対話。
• LAYMAN KNOWALL：素人全知スタイルの対話。
• INTERVIEW：面接形式の対話。

Citation

@inproceedings{
akter2025mind,
title={{MIND}: Math Informed syNthetic Dialogues for Pretraining {LLM}s},
author={Syeda Nahida Akter and Shrimai Prabhumoye and John Kamalu and Sanjeev Satheesh and Eric Nyberg and Mostofa Patwary and Mohammad Shoeybi and Bryan Catanzaro},
booktitle={The Thirteenth International Conference on Learning Representations},
year={2025},
url={https://openreview.net/forum?id=TuOTSAiHDn}
}