Nemotron-Pretraining-Code-v1 ist ein Satz ausgewählter groß angelegter Code-Datensätze, der auf GitHub basiert und 2025 von NVIDIA veröffentlicht wird. Die zugehörigen Papierergebnisse sind „NVIDIA Nemotron Nano 2: Ein genaues und effizientes hybrides Mamba-Transformer-Reasoning-Modell" Dieser Datensatz, der durch mehrstufige Deduplizierung, Lizenzdurchsetzung und heuristische Qualitätsprüfungen gefiltert wurde, enthält LLM-generierte Code-Frage-Antwort-Paare in elf Programmiersprachen. Die Daten umfassen nicht nur 175,1 Milliarden Token hochwertigen synthetisierten Codes, sondern auch Metadaten (ca. 747,4 Milliarden Token), um die Benutzerreproduktion zu erleichtern.

Zitat

@misc{nvidia2025nvidianemotronnano2, title={NVIDIA Nemotron Nano 2: Ein präzises und effizientes hybrides Mamba-Transformer-Reasoning-Modell}, Autor={NVIDIA und : und Aarti Basant und Abhijit Khairnar und Abhijit Paithankar und Abhinav Khattar und Adithya Renduchintala und Aditya Malte und Akhiad Bercovich und Akshay Hazare und Alejandra Rico und Aleksander Ficek und Alex Kondratenko und Alex Shaposhnikov und Alexander Bukharin und Ali Taghibakhshi und Amelia Barton und Ameya Sunil Mahabaleshwarkar und Amy Shen und Andrew Tao und Ann Guan und Anna Shors und Anubhav Mandarwal und Arham Mehta und Arun Venkatesan und Ashton Sharabiani und Ashwath Aithal und Ashwin Poojary und Ayush Dattagupta und Balaram Buddharaju und Banghua Zhu und Barnaby Simkin und Bilal Kartal und Bita Darvish Rouhani und Bobby Chen und Boris Ginsburg und Brandon Norick und Brian Yu und Bryan Catanzaro und Charles Wang und Charlie Truong und Chetan Mungekar und Chintan Patel und Chris Alexiuk und Christian Munley und Christopher Parisien und Dan Su und Daniel Afrimi und Daniel Korzekwa und Daniel Rohrer und Daria Gitman und David Mosallanezhad und Deepak Narayanan und Dima Rekesh und Dina Yared und Dmytro Pykhtar und Dong Ahn und Duncan Riach und Eileen Long und Elliott Ning und Eric Chung und Erick Galinkin und Evelina Bakhturina und Gargi Prasad und Gerald Shen und Haifeng Qian und Haim Elisha und Harsh Sharma und Hayley Ross und Helen Ngo und Herman Sahota und Hexin Wang und Hoo Chang Shin und Hua Huang und Iain Cunningham und Igor Gitman und Ivan Moshkov und Jaehun Jung und Jan Kautz und Jane Polak Scowcroft und Jared Casper und Jian Zhang und Jiaqi Zeng und Jimmy Zhang und Jinze Xue und Jocelyn Huang und Joey Conway und John Kamalu und Jonathan Cohen und Joseph Jennings und Julien Veron Vialard und Junkeun Yi und Jupinder Parmar und Kari Briski und Katherine Cheung und Katherine Luna und Keith Wyss und Keshav Santhanam und Kezhi Kong und Krzysztof Pawelec und Kumar Anik und Kunlun Li und Kushan Ahmadian und Lawrence McAfee und Laya Sleiman und Leon Derczynski und Luis Vega und Maer Rodrigues de Melo und Makesh Narsimhan Sreedhar und Marcin Chochowski und Mark Cai und Markus Kliegl und Marta Stepniewska-Dziubinska und Matvei Novikov und Mehrzad Samadi und Meredith Price und Meriem Boubdir und Michael Boone und Michael Evans und Michal Bien und Michal Zawalski und Miguel Martinez und Mike Chrzanowski und Mohammad Shoeybi und Mostofa Patwary und Namit Dhameja und Nave Assaf und Negar Habibi und Nidhi Bhatia und Nikki Pope und Nima Tajbakhsh und Nirmal Kumar Juluru und Oleg Rybakov und Oleksii Hrinchuk und Oleksii Kuchaiev und Oluwatobi Olabiyi und Pablo Ribalta und Padmavathy Subramanian und Parth Chadha und Pavlo Molchanov und Peter Dykas und Peter Jin und Piotr Bialecki und Piotr Januszewski und Pradeep Thalasta und Prashant Gaikwad und Prasoon Varshney und Pritam Gundecha und Przemek Tredak und Rabeeh Karimi Mahabadi und Rajen Patel und Ran El-Yaniv und Ranjit Rajan und Ria Cheruvu und Rima Shahbazyan und Ritika Borkar und Ritu Gala und Roger Waleffe und Ruoxi Zhang und Russell J. Hewett und Ryan Prenger und Sahil Jain und Samuel Kriman und Sanjeev Satheesh und Saori Kaji und Sarah Yurick und Saurav Muralidharan und Sean Narenthiran und Seonmyeong Bak und Sepehr Sameni und Seungju Han und Shanmugam Ramasamy und Shaona Ghosh und Sharath Turuvekere Sreenivas und Shelby Thomas und Shizhe Diao und Shreya Gopal und Shrimai Prabhumoye und Shubham Toshniwal und Shuoyang Ding und Siddharth Singh und Siddhartha Jain und Somshubra Majumdar und Soumye Singhal und Stefania Alborghetti und Syeda Nahida Akter und Terry Kong und Tim Moon und Tomasz Hliwiak und Tomer Asida und Tony Wang und Tugrul Konuk und Twinkle Vashishth und Tyler Poon und Udi Karpas und Vahid Noroozi und Venkat Srinivasan und Vijay Korthikanti und Vikram Fugro und Vineeth Kalluru und Vitaly Kurin und Vitaly Lavrukhin und Wasi Uddin Ahmad und Wei Du und Wonmin Byeon und Ximing Lu und Xin Dong und Yashaswi Karnati und Yejin Choi und Yian Zhang und Ying Lin und Yonggan Fu und Yoshi Suhara und Zhen Dong und Zhiyu Li und Zhongbo Zhu und Zijia Chen}, Jahr={2025}, eprint={2508.14444}, archivePrefix={arXiv}, primaryClass={cs.CL}, url={https://arxiv.org/abs/2508.14444}, }