Nemotron-MIND ist ein von NVIDIA im Jahr 2024 veröffentlichter Datensatz mit über 138 Milliarden strukturierten mathematischen Konversations-Tokens, der 231,6 Millionen Datensätze mit einer Gesamtspeichergröße von 827 GB umfasst. Er deckt sieben verschiedene soziale Konversationsstile ab, darunter Debatten, Problemlösungen und Lehrer-Schüler-Dialoge. Die zugehörige Forschung wird in der Arbeit „MIND: Math Informed syNthetic Dialogues for Pretraining LLMs" vorgestellt, die darauf abzielt, die mathematischen Denkfähigkeiten großer Sprachmodelle durch synthetische Konversationsdaten zu verbessern.

Datensatzzusammensetzung

• TWO STUDENTS: Gespräche zwischen zwei Schülern.
• TEACHER STUDENT: Gespräche zwischen Lehrer und Schüler.
• TWO PROFESSORS: Gespräche zwischen zwei Professoren.
• DEBATE: Dialoge in Debattenform.
• PROBLEM SOLVING: Dialoge rund um Problemanalyse und -lösung.
• LAYMAN KNOWALL: Dialoge im Stil eines allwissenden Laien.
• INTERVIEW: Dialoge in Interviewform.

Citation

@inproceedings{
akter2025mind,
title={{MIND}: Math Informed syNthetic Dialogues for Pretraining {LLM}s},
author={Syeda Nahida Akter and Shrimai Prabhumoye and John Kamalu and Sanjeev Satheesh and Eric Nyberg and Mostofa Patwary and Mohammad Shoeybi and Bryan Catanzaro},
booktitle={The Thirteenth International Conference on Learning Representations},
year={2025},
url={https://openreview.net/forum?id=TuOTSAiHDn}
}