OpenCodeInstruct est un vaste jeu de données d'instruction pour le réglage fin axé sur le code, publié par NVIDIA en 2025, contenant 5 millions d'exemples variés. L'article scientifique associé est « OpenCodeInstruct: A Large-scale Instruction Tuning Dataset for Code LLMs ». Il vise à fournir des données de haute qualité pour le réglage fin supervisé (SFT) afin d'améliorer les grands modèles de langage open source dédiés au code.

Ce jeu de données est spécifiquement conçu pour l'entraînement de modèles de langage spécialisés dans la génération de code, en utilisant une approche hybride combinant collecte de données automatisée et synthétique ainsi que méthodes d'annotation.

Composition du jeu de données

Le jeu de données comprend principalement un ensemble d'entraînement (train), contenant 5 millions d'exemples. Chaque exemple comporte les champs suivants :

• id : identifiant de chaque question (chaîne de caractères)
• input : la question de programmation en entrée (chaîne de caractères)
• output : la réponse du grand modèle de langage (chaîne de caractères)
• domain : le type de domaine, soit "generic" (générique) soit "algorithmic" (algorithmique) (chaîne de caractères)
• generation_algorithm : l'algorithme de génération, soit "self-instruct" soit "evol-instruct" (chaîne de caractères)
• llm_judgement : une représentation sous forme de chaîne d'un dictionnaire JSON contenant l'évaluation de la réponse par le grand modèle de langage selon plusieurs critères
• unit_tests : une représentation sous forme de chaîne d'une liste d'instructions d'assertion
• tests_execution_status : une liste de chaînes indiquant "pass" (réussi) ou "fail" (échoué), représentant le statut d'exécution des tests
• average_test_score : la proportion de cas de test réussis (nombre flottant)

Citation

@article{ahmad2025opencodeinstruct,
      title={OpenCodeInstruct: A Large-scale Instruction Tuning Dataset for Code LLMs}, 
      author={Wasi Uddin Ahmad and Aleksander Ficek and Mehrzad Samadi and Jocelyn Huang and Vahid Noroozi and Somshubra Majumdar and Boris Ginsburg},
      year={2025},
      eprint={2504.04030},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2504.04030}, 
}