EpiCoder-func-380k ist ein von Microsoft im Jahr 2025 veröffentlichtes Dataset, das sich auf die Feinabstimmung der Codegenerierungsfähigkeiten großer Sprachmodelle konzentriert. Die zugehörige Forschung wird in der Arbeit „EpiCoder: Encompassing Diversity and Complexity in Code Generation" vorgestellt, die darauf abzielt, die Herausforderungen der Anweisungsvielfalt und -komplexität bei Codegenerierungsaufgaben zu bewältigen.

Das Dataset enthält 380.000 funktionsbezogene Anweisungs-Ausgabe-Paare, die speziell dazu dienen, große Sprachmodelle darauf zu trainieren, Python-Code basierend auf detaillierten Textanweisungen zu generieren. Das Dataset wurde durch synthetische Methoden erstellt, wobei sowohl die Anweisungen als auch der Code von großen Sprachmodellen generiert und in Docker-Umgebungen auf Korrektheit überprüft wurden. Es deckt verschiedene Programmierszenarien ab, einschließlich anweisungsbezogener Paralleloptimierung, und eignet sich zur Verbesserung der Leistung von Modellen bei spezifischen Codeaufgaben.

Zusammensetzung des Datasets

Das Dataset besteht hauptsächlich aus den folgenden zwei Feldern, wobei jeder Datensatz eine vollständige Programmieraufgabe darstellt:

• instruction: Zeichenkettentyp, der eine detaillierte Beschreibung der Programmieraufgabe enthält und die Funktionalität, Einschränkungen und Optimierungsanforderungen des Codes festlegt.
• output: Zeichenkettentyp, der die Python-Codeimplementierung enthält, die die oben genannte Anweisung erfüllt.

Alle Daten sind Paare aus von Experten generierten Anweisungen und von Modellen synthetisiertem Code und enthalten keine zusätzlichen Metadaten oder Kommentarfelder.

Citation

@misc{wang2025epicoderencompassingdiversitycomplexity,
      title={EpiCoder: Encompassing Diversity and Complexity in Code Generation}, 
      author={Yaoxiang Wang and Haoling Li and Xin Zhang and Jie Wu and Xiao Liu and Wenxiang Hu and Zhongxin Guo and Yangyu Huang and Ying Xin and Yujiu Yang and Jinsong Su and Qi Chen and Scarlett Li},
      year={2025},
      eprint={2501.04694},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2501.04694}, 
}