OpenCodeInstruct は、NVIDIA が 2025 年に公開した、500 万件の多様なサンプルを含む大規模なコード指示ファインチューニングデータセットであり、関連する論文成果は「OpenCodeInstruct: A Large-scale Instruction Tuning Dataset for Code LLMs」である。本データセットは、オープンソースのコード大規模言語モデルの性能向上のため、教師ありファインチューニング（SFT）に利用可能な高品質なデータを提供することを目的としている。

本データセットは、コード生成に特化した言語モデルの訓練専用に設計されており、自動化および合成を組み合わせたデータ収集・アノテーション手法を採用している。

データセットの構成

本データセットは主にトレーニングセット（train）を含み、500 万件のサンプルが収録されている。各サンプルには以下のフィールドが含まれる：

• id: 各問題の識別子（文字列）
• input: 入力となるプログラミング問題（文字列）
• output: 大規模言語モデルによる応答（文字列）
• domain: ドメインタイプで、「generic」（汎用）または「algorithmic」（アルゴリズム）に分類される（文字列）
• generation_algorithm: 生成アルゴリズムで、「self-instruct」または「evol-instruct」に分類される（文字列）
• llm_judgement: 複数の基準に基づき大規模言語モデルが応答を評価した結果を格納した JSON 辞書の文字列表現
• unit_tests: 検証ステートメントのリストの文字列表現
• tests_execution_status: テスト実行状況を示す「pass」または「fail」の文字列リスト
• average_test_score: 合格したテストケースの割合（浮動小数点数）

引用

@article{ahmad2025opencodeinstruct,
      title={OpenCodeInstruct: A Large-scale Instruction Tuning Dataset for Code LLMs}, 
      author={Wasi Uddin Ahmad and Aleksander Ficek and Mehrzad Samadi and Jocelyn Huang and Vahid Noroozi and Somshubra Majumdar and Boris Ginsburg},
      year={2025},
      eprint={2504.04030},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2504.04030}, 
}