Command Palette
Search for a command to run...
データセットの概要 | NVIDIA オープンソース Nemotron データセット: 10TB を超えるトークンと 4000 万のトレーニング サンプルを収録。数学的推論、コード生成、多言語対話を網羅。
大規模モデル開発競争において、トレーニングデータは重要な要素になりつつあります。パラメータ数だけが障壁ではなくなった今、データの質、構造、タスクへの適合性が、推論、コード、インタラクションといった側面におけるモデルの真の性能を決定づけるようになっています。
NVIDIAのNemotronデータセットシリーズは、こうした傾向に対応して構築されたデータリソースシステムです。10TBを超えるトークンと4000万件のトレーニング後サンプルが含まれており、ベースモデルからエージェントワークフローまでのトレーニングライフサイクル全体を網羅しています。規模のみに焦点を当てる従来の事前学習データとは異なり、Nemotronシリーズはさまざまな能力次元を的確に網羅することに重点を置いており、各データセットはモデル能力構築の特定の側面に対応しています。
この記事では、現在の大規模モデルトレーニングにおけるいくつかの主要な機能を網羅する15個のNemotronデータセットをまとめています。一般的なテキスト事前学習、教師ありファインチューニング（SFT）、コード生成、数学的推論、および多言語ペルソナ対話データ。これは、基本的な能力構築からタスク能力の最適化まで、モデルに対する体系的なデータサポートを提供する。
これらのデータセットの設計思想には、明確な変化が表れています。大規模モデルのトレーニングは、「より多くのデータでより強力なモデルをトレーニングする」ことから、「より正確なデータでより適切なモデルをトレーニングする」へと移行しつつあります。Nemotronシリーズが採用しているアプローチは、まさにこの傾向を象徴するものです。つまり、トレーニングデータを設計する能力が、モデルの能力の上限を決定づける重要な要素になりつつあるということです。
以下のデータセットはすべてHyperAI（hyper.ai）に収録されており、大規模モデルの研究者や開発者向けに体系的なデータリソースリファレンスを提供することを目指しています。
より高品質なデータセット：
データセットの推奨
1. Nemotron-CC-v2 事前学習済みデータセット
* オンラインで利用する：
Nemotron-CC-v2は、NVIDIAが2025年にリリースしたNemotron-CCの後継バージョンです。関連論文のタイトルは「NVIDIA Nemotron Nano 2：正確かつ効率的なハイブリッドMamba-Transformer推論モデル」です。
このデータセットは、既存の英語ウェブコーパスをベースに、2024年から2025年までのCommon Crawlスナップショット8件を追加し、グローバルな重複排除と英語フィルタリングを実施しました。また、Qwen3-30B-A3Bを用いてウェブコンテンツを合成・再述し、多様な質問応答（Diverse QA）を補完し、さらに15言語に翻訳することで、多言語論理推論と一般知識の事前トレーニングを強化しました。その意義は、「高品質な英語ウェブページ→合成された多様なQA」という効果的なアプローチを新たなレベルに引き上げ、最新のウェブクローリングと多言語展開を体系的なアプローチに統合したことにあります。厳格な重複排除、フィルタリング、再現可能な配信により、さまざまな事前トレーニングパイプラインへの直接的な統合を容易にします。
2. Nemotron-Pretraining-SFT 教師ありファインチューニングデータセット
* オンラインで利用する：
Nemotron-Pretraining-SFT-v1 は、NVIDIA が 2025 年にリリースした合成生成データセットです。関連論文は「NVIDIA Nemotron Nano 2: 正確で効率的なハイブリッド Mamba-Transformer 推論モデル」で、指示の追跡、推論、コード、一般的な質問への回答などのタスクにおけるモデルの機能を強化することを目的としています。
このデータセットは、STEM、学術、論理的推論、および多言語シナリオ向けに設計されています。高品質の数学および科学資料を基に拡張され、大学院レベルの学術テキストと精緻に調整されたSFTデータを組み合わせることで、数学、コーディング、一般知識、論理的推論など、さまざまなタスクを網羅する複雑な多肢選択式および分析的な問題（完全な解答/アプローチを含む）を作成します。Nemotronの事前学習データの公式統計では、SFT関連のカテゴリ（Math SFT、Code SFT、General SFTなど）がかなりの割合を占めているため、ユーザーはメタデータに基づいて必要なサブセットを簡単にフィルタリングし、再現可能な実験を行うことができます。
3. Nemotron-Pretraining-Codeデータセット
* オンラインで利用する：
Nemotron-Pretraining-Code-v1は、GitHub上に構築され、NVIDIAが2025年にリリースした、厳選された大規模コードデータセットのセットです。関連論文のタイトルは「NVIDIA Nemotron Nano 2：正確かつ効率的なハイブリッドMamba-Transformer推論モデル」です。
このデータセットは、多段階の重複排除、ライセンスの適用、およびヒューリスティックな品質チェックを経てフィルタリングされており、11種類のプログラミング言語に対応したLLM生成のコードに関する質問と回答のペアが含まれています。1751億の高品質な合成コードトークンに加え、ユーザーによる再現を容易にするためのメタデータ（約7474億トークン）も含まれています。
4. Nemotron-Pretraining-Code 事前学習データセット
* オンラインで利用する：
Nemotron-Pretraining-Code-v3 は、NVIDIA が大規模言語モデル Nemotron 3 シリーズ向けに作成したコード事前学習データセットの 1 つです。このデータセットは、LLM のコード理解、生成、補完、および推論機能を強化することを目的としています。このデータセットは、NVIDIA Nemotron 事前学習データシリーズのコードコーパス部分に属します。関連論文は、「Nemotron 3 Ultra: エージェント推論のためのオープンで効率的な専門家混合型ハイブリッド Mamba-Transformer モデル」です。
このデータセットには合計1億4630万個のファイルが含まれています。データ収集は2025年9月30日に終了しました。このデータセットは増分バージョンであり、以前のバージョンと比較して、このシリーズに追加されたソースコードファイルのみが含まれています。完全なコード事前学習コーパスを構築するには、v1およびv2と併用する必要があります。
5. Nemotron-CC-Math 数学事前学習データセット
* オンラインで利用する：
Nemotron-CC-Mathは、NVIDIAとボストン大学が2025年に公開した、数学に特化した高品質かつ大規模な事前学習済みデータセットです。関連論文のタイトルは「Nemotron-CC-Math：1330億トークン規模の高品質数学事前学習データセット」です。このデータセットは、価値の高い数学的コンテンツとコードコンテンツを保存・表示することで、次世代のインテリジェントでグローバルな言語モデルの開発を促進することを目的としています。
このデータセットは1330億トークンを含み、NVIDIA Lynxと軽量LLMに基づく抽出・正規化パイプラインを用いてCommon Crawlから構築されました。数式とコード形式の構造を維持しながら、数学コンテンツを編集可能なLaTeX形式に統合することで、ウェブ規模で初めて複数の（ロングテールを含む）数学形式に対応し、その利点は複数のベンチマークで検証されています。
6. Nemotron-Personas-Korea（韓国人合成人間データセット）
* オンラインで利用する：
Nemotron-Personas-Koreaは、NVIDIAが2026年に公開した合成韓国語キャラクターのデータセットで、韓国人の多様性と特徴を包括的に反映するように設計されています。このデータセットは、合成韓国語キャラクターとしては初の本格的なデータセットであり、主に主権AI合成データの多様性を拡大し、データとモデルのバイアスを軽減し、モデル応答の多様性を向上させるために使用されます。
このデータセットには、それぞれ7つの仮想キャラクターを持つ100万件のレコードが含まれており、合計で約700万件のキャラクター記述と約17億個のトークンがあり、そのうち10億個のトークンがキャラクターに関連しています。データは韓国の17の広域自治区と252の市区町村を対象とし、209,167の固有名が含まれています。このデータセットは、韓国統計情報サービス（KOSIS）、韓国最高裁判所、国民健康保険公団、韓国農村経済研究所、およびNAVER Cloudから提供された公式情報に基づいて作成されました。すべてのキャラクターは完全に仮想であり、実際の個人識別情報とは一切関係ありません。また、19歳未満の未成年者に関するデータも除外されています。
7. Nemotron Personas France（フランスの合成人物データセット）
* オンラインで利用する：
Nemotron Personas Franceは、NVIDIAがPleiasと共同で2026年にリリースしたフランスの合成キャラクターデータセットです。このデータセットには、実際のフランスの人口統計、地理、性格特性に基づいて生成された合成キャラクターデータが含まれています。その目的は、フランスの地理的および人口統計的分布を反映することで、モデル開発を支援する多様な合成キャラクターデータを提供することです。
このデータセットには、100万件のレコードに分散された、フランス人に関する600万件のデータが含まれています。各レコードには、名前、性別、年齢、婚姻状況、職業など22の項目があり、学者、スポーツ愛好家、芸術愛好家、食通、旅行愛好家など、さまざまなタイプの人物が含まれています。
8.Nemotron-Personas-Brazil ブラジル人合成文字データセット
* オンラインで利用する：
Nemotron-Personas-Brazilは、NVIDIAがWideLabsと共同で2026年にリリースしたブラジルの合成キャラクターデータセットです。このデータセットは、ブラジルの人口の多様性と豊かさを示すことで、地域（北部、北東部、中西部など）、民族的背景、教育レベル、職業分布など、多次元的な潜在的な人口分布をより包括的に反映することを目的としています。
このデータセットには1,000,000件のレコードが含まれており、各レコードには6つの複合文字が含まれています。各レコードには6つの文字フィールドと14のコンテキストフィールドが含まれており、これらはブラジルの公式人口構造と労働市場分布に基づいて統計的に構築されています。このデータは、ブラジル全26州と連邦直轄領の地理的および人口統計的分布を網羅しています。
9.Nemotron Personas USA (米国) パーソナリティデータセット
* オンラインで利用する：
Nemotron-Personas-USAは、NVIDIAが2025年に公開した大規模な合成ユーザープロファイルデータセットです。対話生成、ペルソナシミュレーション、ユーザーモデリング、多様な行動分析などのタスクにおいて、大規模言語モデル（LLM）やインテリジェントエージェントシステムのトレーニングと評価を支援することを目的としています。このデータセットには、約100万件の仮想人物レコードが含まれており、合計600万件のペルソナフィールドと16件のコンテキスト情報フィールドがあります。米国の50州すべてに加え、プエルトリコとバージン諸島も網羅しており、29,000の郵便番号地域（ZCTA）と15,200の都市/地域をカバーしているため、米国の人口の地理的および社会的分布を比較的完全に反映しています。
このデータセットには約97万件の固有名が含まれており、560以上の職業カテゴリーを網羅しています。職業分布は現実世界の職業統計を参照しており、社会的な代表性を確保しています。各データポイントは、年齢、性別、教育水準、収入、職業、居住地などの構造化された人口統計情報に加え、興味、価値観、ライフスタイル、個人的な目標といった自然言語によるペルソナ記述を含む多次元フィールドで構成されており、構造化情報と非構造化テキストを組み合わせた複合的なペルソナ表現を形成しています。
10. Nemotron-Personas-Japan: 日本人合成人間フィギュアのデータセット。
* オンラインで利用する：
Nemotron-Personas-Japanは、NVIDIAが2025年に公開した合成人間モデルのデータセットです。日本の人口の多様性と豊かさを表現することを目的としており、主に主権型AIシステムの開発、大規模言語モデルのトレーニング、合成データにおけるバイアスの低減を支援するために使用されます。
このデータセットには、それぞれ6人の仮想キャラクターを含む100万件のレコードが含まれており、合計で約600万件のキャラクター記述と約14億個のトークンがあり、そのうち8億5000万個のトークンがキャラクターに関連しています。データは日本の47都道府県すべて、1500以上の職業分類、95万以上の固有名詞を網羅しています。このデータセットは、日本の公式人口統計データ、地理的分布、および性格特性分布に基づいて作成されました。すべてのキャラクターは完全に仮想であり、実際の個人識別情報とは一切関係ありません。18歳未満の未成年者に関するデータも除外されています。
11. Nemotron-Personas-India: インドの合成人間フィギュアのデータセット。
* オンラインで利用する：
Nemotron-Personas-Indiaは、NVIDIAが2025年に公開したインド向けの合成人間データセットです。インドの実際の地理的および人口統計的分布を反映することで、合成データの多様性を向上させ、モデルのバイアスを軽減し、モデルの崩壊を防ぐことを目的としています。主に、地域特有の人口統計的特徴や文化的背景を取り入れた独自のAIシステムを構築する際に、インドのモデル開発者を支援するために使用されます。
このデータセットには、それぞれ7つの仮想キャラクターロールを持つ300万件のレコードが含まれており、合計で約2100万件のキャラクター記述と約77億トークン（うち29億トークンはキャラクター関連情報）が含まれています。データはインドの36の州と連邦直轄領、640の地区を対象とし、約56万の固有名が含まれています。英語、デーヴァナーガリー文字、ラテン文字の3つの言語バージョンで提供され、各言語バージョンに約100万件のレコードが含まれています。このデータセットは、2011年のインド国勢調査と選挙人名簿からの実際の人口統計情報と地理的分布情報に基づいています。すべてのキャラクターは完全に仮想であり、実際の個人識別情報とは対応していません。18歳未満の未成年者に関するデータも除外されています。
12. Nemotron-Personas-Belgium（ベルギーの合成人間データセット）
* オンラインで利用する：
Nemotron-Personas-Belgiumは、NVIDIAがPleiasおよびルーヴェン・カトリック大学と共同で2026年に公開した、ベルギー出身の合成人物データセットです。このデータセットは、ベルギー国民の多様性と特性を包括的に反映することを目的としており、主に主権AI合成データの多様性を拡大し、データとモデルのバイアスを軽減し、モデル応答の多様性を向上させることを目指しています。
このデータセットには、それぞれ6つの仮想キャラクターロールを持つ120万件のレコードが含まれており、合計で約180万件のキャラクター記述と約19億トークンがあり、そのうち8億6700万トークンはキャラクター関連情報です。データはベルギーの581の自治体と3つの行政区を対象とし、約26万の固有名が含まれています。オランダ語、フランス語、ドイツ語、英語の4言語で利用可能で、各言語バージョンに30万件のレコードがあります。このデータセットは、ベルギーの2021年国勢調査データと2025年の人口構造データに基づいています。すべてのキャラクターは完全に仮想であり、実際の個人識別情報には対応していません。18歳未満の未成年者に関するデータも除外されています。
13. Nemotron-Personas-Vietnam: 合成されたベトナム人のデータセット。
* オンラインで利用する：
Nemotron-Personas-Vietnamは、NVIDIAが2026年に公開した、ベトナム人の合成データセットです。ベトナム人の多様性と特徴を包括的に反映することを目的としており、主にベトナムの主権に関するAIモデルの開発を支援し、データバイアスを軽減し、ベトナムの文化的背景におけるモデル応答の多様性を向上させるために使用されます。
このデータセットには、それぞれ6つの仮想キャラクターロールを持つ10万件のレコードが含まれており、合計で約60万件のキャラクター記述と約1億1800万トークン（うち5200万トークンはキャラクター関連情報）が含まれています。データはベトナムの中央行政区である6つの市と省を対象とし、約1万3000の固有名詞が含まれています。このデータセットは、ベトナムの公式統計とFPTグループが提供する現地専門知識に基づいて作成されました。すべてのキャラクターは完全に仮想であり、実際の個人情報とは一切関係ありません。また、18歳未満の未成年者に関するデータも除外されています。
14. Nemotron-ペルソナ エルサルバドル (エルサルバドルの合成人間データセット)
* オンラインで利用する：
NVIDIAが2026年に公開したNemotron-Personas-El Salvadorデータセットは、エルサルバドル人の合成データセットです。このデータセットは、エルサルバドル国民の多様性と特徴を包括的に反映することを目的としており、主にエルサルバドルの主権に関するAIモデルの開発を支援し、データバイアスを軽減し、エルサルバドルの文化的背景におけるモデル応答の多様性を高めるために使用されます。
このデータセットには、約100万件のキャラクター記述と約3億トークン（うち1億6100万トークンはキャラクター関連情報）を含む14万8000件のレコードが含まれています。データはエルサルバドルの14の州と44の都市を対象とし、約14万4000の固有名詞が含まれています。このデータセットは、エルサルバドルの2024年第7回国勢調査および第6回国勢調査に基づく、実際の人口統計、地理的分布、および職業統計に基づいています。すべてのキャラクターは完全に仮想のものであり、実際の個人識別情報とは一切関係ありません。また、18歳未満の未成年者に関するデータも除外されています。
15. Nemotron-Personas Singapore（シンガポール合成人物データセット）
* オンラインで利用する：
Nemotron-Personas-Singaporeは、NVIDIAが2026年に公開したシンガポール出身の合成人物データセットです。シンガポールの実際の人口構成、地理的特徴、および性格特性を反映することを目的としています。主な目的は、主権型AIシステムの開発を支援し、合成データの多様性を高め、モデルのバイアスを軽減し、モデルの崩壊を防ぐことです。
このデータセットには、それぞれ6つの仮想キャラクターロールを持つ148,000件のレコードが含まれており、合計で888,000件のキャラクター記述と約1億1,800万トークン（うち4,800万トークンはキャラクター関連情報）が含まれています。データはシンガポールの55の計画区域を対象とし、約146,000の固有名詞が含まれています。このデータセットは、2024年のシンガポール国勢調査、国立図書館委員会（NLB）の名称認可データ、および住宅開発庁（CEA）が提供する公式情報に基づいて作成されました。すべてのキャラクターは完全に仮想であり、実際の個人識別情報とは一切関係ありません。また、18歳未満の未成年者に関するデータも除外されています。
