Llama-Nemotron-Inferenzdatensatz

Bei diesem Datensatz handelt es sich um einen hochwertigen Multi-Domain-Reasoning-Datensatz, der 2025 von NVIDIA veröffentlicht wurde. Die relevanten Ergebnisse des Papiers sind:Llama-Nemotron: Effiziente Denkmodelle" zielt darauf ab, die Leistungsverbesserung großer Sprachmodelle bei Aufgaben wie Mathematik, Code, wissenschaftlichem Denken und Befolgen von Anweisungen zu unterstützen und den Modellen der Llama-3.1/3.3-Nemotron-Serie zu effizienteren Denkfähigkeiten zu verhelfen.

Der Datensatz enthält ca. 22,06 Millionen mathematische Daten, ca. 10,1 Millionen Codedaten und der Rest sind Daten aus den Bereichen Naturwissenschaften und Unterricht. Die Daten werden gemeinsam von mehreren Modellen wie Llama-3.3-70B-Instruct, DeepSeek-R1 und Qwen-2.5 generiert und decken verschiedene Argumentationsstile und Problemlösungspfade ab, um den vielfältigen Anforderungen des Trainings groß angelegter Modelle gerecht zu werden.