Nemotron-Pretraining-Specialized-v1.1 は、NVIDIA が 2026 年にリリースした合成事前学習データセットであり、Nemotron 3 シリーズの大規模言語モデル向けに設計されています。プログラミングの概念とアルゴリズム、形式論理、経済学、多肢選択問題などの分野におけるモデルの能力向上を目的としています。

このデータセットには、約 1,977 万件のサンプルが含まれており、総サイズは約 34.9 GB、Parquet 形式で提供されています。複数の大規模言語モデルによって生成され、モデルの事前学習や能力向上に使用できます。

データセットの構成

データセットには、以下の5つのサブセットが含まれています：

• Nemotron-Pretraining-Code-Concepts：プログラミング概念の組み合わせに基づいて生成された Python の問題と解決策が含まれており、アルゴリズム、データ分析、データ構造などのトピックを網羅しています。
• Nemotron-Pretraining-Unconditional-Algorithmic：短いプロンプトを通じて生成された、さまざまな形式の Python アルゴリズムサンプルが含まれています。
• Nemotron-Pretraining-Formal-Logic：形式論理に関連する多肢選択問題と回答が含まれており、一部のサンプルには思考連鎖が含まれています。
• Nemotron-Pretraining-Economics：経済学に関連する多肢選択問題と回答が含まれており、一部のサンプルには思考連鎖が含まれています。
• Nemotron-Pretraining-Multiple-Choice：MMLU auxiliary_train データセットからの多テーマの多肢選択問題が含まれています。

以下のデータフィールドが含まれています：

• text：事前学習用のテキストコンテンツ。
• license：サンプルのライセンス情報。
• metadata：サンプルのメタデータ。データカテゴリと生成モデルが含まれます。Code-Concepts サブセットには、関数名、タグ、問題プロンプト、生成された解決策も含まれます。
• uuid：サンプルの一意の識別子。

引用

このデータセットを研究に使用する場合は、NVIDIA Nemotron 3 Super 技術レポート を引用してください。