※本データセットはオンライン利用に対応しておりますが、ここをクリックしてジャンプしてください。

Nemotron-Pretraining-Dataset-sampleは、NVIDIAが2025年にリリースしたNemotron事前トレーニングデータセットの合理化されたサンプリングバージョンです。関連する論文の結果は次のとおりです。NVIDIA Nemotron Nano 2: 正確で効率的なハイブリッド Mamba-Transformer 推論モデル”。

このデータセットには、完全な SFT および事前トレーニング コーパスのさまざまなコンポーネントから選択された 10 個の代表的なサブセットが含まれており、レビューや簡単な実験に適した、高品質の質問応答データ、数学分野に重点を置いた抽出されたコンテンツ、コード メタデータ、および SFT スタイルの指示データが含まれています。