OpenCodeInstruct는 NVIDIA가 2025년에 공개한 500만 개의 다양한 샘플을 포함한 대규모 코드 지시微调(Instruction Tuning) 데이터셋으로, 관련 논문 결과는 「OpenCodeInstruct: A Large-scale Instruction Tuning Dataset for Code LLMs」이며, 오픈소스 코드 대규모 언어 모델의 성능 개선을 위해 감독微调(Supervised Fine-Tuning, SFT)에 사용할 고품질 데이터를 제공함을 목표로 합니다.

해당 데이터셋은 코드 생성에 특화된 언어 모델 학습을 위해 설계되었으며, 자동화 및 합성 데이터 수집과 주석 달기 방식을 혼합하여 활용했습니다.

데이터셋 구성

이 데이터셋은 주로 훈련 세트(train)로 구성되어 있으며, 500만 개의 샘플을 포함하고 있습니다. 각 샘플은 다음 필드를 포함합니다:

• id: 각 문제의 식별자 (문자열)
• input: 입력된 프로그래밍 문제 (문자열)
• output: 대규모 언어 모델의 응답 (문자열)
• domain: 도메인 유형으로, "generic"(일반) 또는 "algorithmic"(알고리즘)으로 구분 (문자열)
• generation_algorithm: 생성 알고리즘으로, "self-instruct" 또는 "evol-instruct"으로 구분 (문자열)
• llm_judgement: 대규모 언어 모델이 여러 기준에 따라 응답을 평가한 결과를 담은 JSON 사전의 문자열 표현
• unit_tests: 어설션(assertion) 문장 리스트의 문자열 표현
• tests_execution_status: 테스트 실행 상태를 나타내는 "pass" 또는 "fail" 문자열 리스트
• average_test_score: 통과된 테스트 케이스의 비율 (부동소수점)

인용

@article{ahmad2025opencodeinstruct,
      title={OpenCodeInstruct: A Large-scale Instruction Tuning Dataset for Code LLMs}, 
      author={Wasi Uddin Ahmad and Aleksander Ficek and Mehrzad Samadi and Jocelyn Huang and Vahid Noroozi and Somshubra Majumdar and Boris Ginsburg},
      year={2025},
      eprint={2504.04030},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2504.04030}, 
}