EpiCoder-func-380k는 Microsoft가 2025년에 발표한 대규모 언어 모델의 코드 생성 능력 미세 조정에 초점을 맞춘 데이터셋으로, 관련 논문 성과는「EpiCoder: Encompassing Diversity and Complexity in Code Generation」이며, 코드 생성 작업에서 명령 다양성과 복잡성의 과제를 해결하는 것을 목표로 합니다.

이 데이터셋은 38만 개의 함수 수준 명령-출력 쌍 인스턴스를 포함하며, 대규모 언어 모델이 상세한 텍스트 명령에 따라 Python 코드를 생성하도록 훈련하는 데 특별히 사용됩니다. 데이터셋은 합성 방법으로 구축되었으며, 명령과 코드는 모두 대규모 언어 모델이 생성하고 Docker 환경에서 정확성을 검증하며, 명령 수준 병렬 최적화를 포함한 다양한 프로그래밍 시나리오를 다루어 특정 코드 작업에서 모델 성능을 향상시키는 데 적합합니다.

데이터셋 구성

데이터셋은 주로 다음 두 개의 필드로 구성되며, 각 데이터는 완전한 프로그래밍 작업 인스턴스를 나타냅니다.

• instruction: 문자열 유형으로, 코드의 기능, 제약 조건 및 최적화 요구 사항을 규정하는 상세한 프로그래밍 작업 설명을 포함합니다.
• output: 문자열 유형으로, 위 명령을 충족하는 Python 코드 구현을 포함합니다.

모든 데이터는 전문가가 생성한 명령과 모델이 합성한 코드의 쌍으로 구성되며, 추가 메타데이터나 주석 필드는 포함하지 않습니다.

Citation

@misc{wang2025epicoderencompassingdiversitycomplexity,
      title={EpiCoder: Encompassing Diversity and Complexity in Code Generation}, 
      author={Yaoxiang Wang and Haoling Li and Xin Zhang and Jie Wu and Xiao Liu and Wenxiang Hu and Zhongxin Guo and Yangyu Huang and Ying Xin and Yujiu Yang and Jinsong Su and Qi Chen and Scarlett Li},
      year={2025},
      eprint={2501.04694},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2501.04694}, 
}