Nemotron-Pretraining-Code-v1は、GitHubをベースにした大規模コードデータセットの集合であり、NVIDIAが2025年にリリースした。関連する論文の結果は「NVIDIA Nemotron Nano 2: 正確で効率的なハイブリッド Mamba-Transformer 推論モデル」 このデータセットは、多段階の重複排除、ライセンス適用、ヒューリスティックな品質チェックを経てフィルタリングされており、11のプログラミング言語におけるLLM生成コードの質問と回答のペアが含まれています。このデータには、1,751億トークンの高品質な合成コードだけでなく、ユーザーによる再現を容易にするためのメタデータ（約7,474億トークン）も含まれています。

引用

@misc{nvidia2025nvidianemotronnano2、 タイトル={NVIDIA Nemotron Nano 2: 正確かつ効率的なハイブリッドMamba-Transformer推論モデル} author={NVIDIA と :、Aarti Basant、Abhijit Khairnar、Abhijit Paitankar、Abhinav Khattar、Adithya Renduchintala、Aditya Malte、Akhiad Bercovich、Akshay Hazare、Alejandra Rico、Aleksander Ficek、Alex Kondratenko、Alex Shaposhnikov、Alexander Bukharin、Ali Taghibakhshi、アメリア・バートン、アメヤ・スニール・マハバレシュワルカル、エイミー・シェン、アンドリュー・タオ、アン・グアン、アンナ・ショール、アヌバブ・マンダルワル、アーハム・メータ、アルン・ベンカテサン、アシュトン・シャラビアニ、アシュワス・アイサル、アシュウィン・プージャリー、アユシュ・ダタグプタ、バララム・ブッダラージュ、バンファ・ジュー、バーナビー・シムキン、ビラル・カルタル、ビタ・ダルビッシュロウハニ大統領、ボビー・チェン、ボリス・ギンズバーグ、ブランドンノリック、ブライアン・ユー、ブライアン・カタザロ、チャールズ・ワン、チャーリー・トゥルオン、チェタン・ムンゲカール、チンタン・パテル、クリス・アレクシウク、クリスチャン・マンリー、クリストファー・パリジャン、ダン・スー、ダニエル・アフリミ、ダニエル・コルゼクワ、ダニエル・ローラー、ダリア・ギットマン、デビッド・モサラネジャド、ディーパック・ナラヤナン、ディマ・レケシュ、ディナ・ヤレド、ドミトロ・ピフタル、ドン・アン、ダンカン・リアック、アイリーン・ロング、エリオット・ニン、エリック・チャン、エリック・ガリンキン、エヴェリーナ・バフトゥリナ、ガルギ・プラサド、ジェラルド・シェン、ハイフェン・チアン、ハイム・エリシャ、ハーシュ・シャルマ、ヘイリー・ロス、ヘレン・ンゴ、ハーマン・サホタ、ヘシン・ワン、フー・チャン・シン、ホア・ホアン、イアン・カニンガム、イゴール・ギットマン、イヴァン・モシュコフ、ジェフン・ジョン、ヤン・カウツ、ジェーンポラック・スコウクロフト、ジャレッド・キャスパー、ジャン・チャン、ジアチー・ゼン、ジミー・チャン、ジンゼ・シュエ、ジョセリン・ホアン、ジョーイ・コンウェイ、ジョン・カマル、ジョナサン・コーエン、ジョセフ・ジェニングス、ジュリアン・ヴェロン・ヴィアラール、ジュンクン・イー、ジュピンダー・パルマー、カリ・ブリスキー、キャサリン・チャン、キャサリン・ルナ、キース・ウィス、ケシャフ・サンタナム、ケジ・コン、クシシュトフ・パヴェレツ、クマール・アニク、クンルン・リー、クシャン・アハマディアン、ローレンス・マカフィー、ラヤ・スレイマン、レオン・デルチンスキー、ルイス・ベガ、マール・ロドリゲス・デ・メロ、マケシュ・ナルシムハン・スリードハー、マルチン・チョホフスキ、マーク・カイ、マルクス・クリーグル、マルタ・ステプニエフスカ＝ジュビンスカ、マトヴェイ・ノヴィコフ、メルザード・サマディ、メレディスプライス、メリエム・ブブディル、マイケル・ブーン、マイケル・エヴァンス、ミハル・ビエン、ミハル・ザワルスキー、ミゲル・マルティネス、マイク・チャノフスキー、モハマド・シューイビ、モストファ・パトワリー、ナミット・ダメジャ、ナベ・アサフ、ネガール・ハビビ、ニディ・バティア、ニッキ・ポープ、ニマ・タジバクシュ、ニルマル・クマール・ジュルル、オレグ・リバコフオレクシー・フリンチュク、オレクシー・クチャイエフ、オルワトビ・オラビイ、パブロ・リバルタ、パドマヴァシー・スブラマニアン、パルト・チャダ、パブロ・モルチャノフ、ピーター・ディカス、ピーター・ジン、ピョートル・ビアレッキ、ピョートル・ヤヌシェフスキー、プラディープ・タラスタ、プラシャント・ガイクワド、プラスーン・ヴァルシュニー、プリタム・グンデチャ、プシェメク・トレダック、ラビー・カリミ・マハバディ、ラジェン・パテル、ラン・エル・ヤニフ、ランジット・ラジャン、リア・チェルブ、リマ・シャバズヤン、リティカ・ボルカール、リトゥ・ガラ、ロジャー・ワレフ、ルオクシー・チャン、ラッセル・J・ヒューエット、ライアン・プレンガー、サヒル・ジェイン、サミュエル・クリマン、サンジーブ・サシーシュ、加地沙織、サラ・ユリック、サウラフ・ムラリダラン、ショーンナランチラン、バク・ソンミョン、セパール・サメニ、ハン・スンジュ、シャンムガム・ラマサミー、シャオナ・ゴーシュ、シャラス・トゥルヴェケレ・スリーニバス、シェルビー・トーマス、シゼ・ディアオ、シュレヤ・ゴパール、シュリマイ・プラブモエ、シュバム・トシュニワル、シュオヤン・ディン、シッダース・シン、シッダールタ・ジャイン、ソムシュブラ・マジュムダル、ソウミエ・シンハル、ステファニア・アルボルゲッティ、サイダNahida Akter、Terry Kong、Tim Moon、Tomasz Hliwiak、Tomer Asida、Tony Wang、Tugrul Konuk、Twinkle Vashishth、Tyler Poon、Udi Karpas、Vahid Noroozi、Venkat Srinivasan、Vijay Korthikanti、Vikram Fugro、Vineeth Kalluru、Vitaly Kurin、Vitaly Lavrukhin、Wasi Uddin Ahmad、Wei Du、Wonmin Byeon、Ximing Lu、Xin Dong、Yashaswi Karnati、Yejin Choi、Yian Zhang、Ying Lin、Yonggan Fu、Yoshi Suhara、Zhen Dong、Zhiyu Li、Zhongbo Zhu、Zijia Chen}、 年={2025}、 eprint={2508.14444}、 archivePrefix={arXiv}、 primaryClass={cs.CL}、 url={https://arxiv.org/abs/2508.14444}、 }