EpiCoder-func-380k は、Microsoft により 2025 年に公開された、大規模言語モデルのコード生成能力のファインチューニングに特化したデータセットです。関連する論文は「EpiCoder: Encompassing Diversity and Complexity in Code Generation」であり、コード生成タスクにおける指示の多様性と複雑性の課題を解決することを目的としています。

このデータセットには、関数レベルの 38 万件の指示と出力のペアが含まれており、詳細なテキスト指示に基づいて Python コードを生成するように大規模言語モデルを訓練するために特別に設計されています。 データセットは合成手法により構築されており、指示とコードの両方が大規模言語モデルによって生成され、Docker 環境でその正しさが検証されています。命令レベルの並列化最適化など、多様なプログラミングシナリオをカバーしており、特定のコードタスクにおけるモデルの性能向上に適用可能です。

データセットの構成

データセットは主に以下の 2 つのフィールドで構成されており、各データは完全なプログラミングタスクのインスタンスを表しています。

• instruction: 文字列型で、コードの機能、制約条件、最適化要件を規定する詳細なプログラミングタスクの説明が含まれています。
• output: 文字列型で、上記の指示を満たす Python コードの実装が含まれています。

すべてのデータは、専門家によって生成された指示と、モデルによって合成されたコードのペアであり、追加のメタデータやコメントフィールドは含まれていません。

引用

@misc{wang2025epicoderencompassingdiversitycomplexity,
      title={EpiCoder: Encompassing Diversity and Complexity in Code Generation}, 
      author={Yaoxiang Wang and Haoling Li and Xin Zhang and Jie Wu and Xiao Liu and Wenxiang Hu and Zhongxin Guo and Yangyu Huang and Ying Xin and Yujiu Yang and Jinsong Su and Qi Chen and Scarlett Li},
      year={2025},
      eprint={2501.04694},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2501.04694}, 
}