Nemotron-Pretraining-Code-v3 は、NVIDIA が大規模言語モデル Nemotron 3 シリーズ向けに作成したコード事前学習データセットの 1 つです。このデータセットは、LLM のコード理解、生成、補完、および推論機能を強化することを目的としています。このデータセットは、NVIDIA Nemotron 事前学習データシリーズのコードコーパス部分に属します。関連論文は、「Nemotron 3 Ultra: エージェント推論のためのオープンで効率的な専門家混合型ハイブリッド Mamba-Transformer モデル」です。 このデータセットには1億4630万個のファイルが含まれています。データ収集は2025年9月30日に終了しました。これは増分バージョンであり、以前のバージョンと比較して新しく追加されたソースコードファイルのみが含まれています。以前のバージョンと比較する必要があります。 v1、v2 これらを併用することで、完全なコード事前学習コーパスを形成できる。

データフィールド:

• commit_id: Gitコミットハッシュの最初の7文字。
• rel_path: リポジトリのルートディレクトリにあるファイルのパス。
• 言語：自動検出および認識のためのプログラミング言語。

引用

このデータセットを研究に利用する場合は、必ず引用してください。 Nemotron 3 Ultra：エージェント推論のためのオープンで効率的なエキスパート混合型ハイブリッドMamba-Transformerモデル 。