EpiCoder-func-380k ist ein Datensatz, der von Microsoft im Jahr 2025 veröffentlicht wurde und sich auf die Feinabstimmung der Codegenerierungsfähigkeiten großer Sprachmodelle konzentriert. Die zugehörige wissenschaftliche Veröffentlichung ist EpiCoder: Encompassing Diversity and Complexity in Code Generation. Der Datensatz zielt darauf ab, die Herausforderungen hinsichtlich der Vielfalt und Komplexität von Anweisungen in Aufgaben zur Codegenerierung zu lösen.

Der Datensatz enthält 380.000 Instanzen von Funktionspaaren aus Anweisung und Ausgabe, die speziell für das Training großer Sprachmodelle zur Generierung von Python-Code anhand detaillierter textlicher Anweisungen entwickelt wurden. Der Datensatz wurde synthetisch erstellt; sowohl die Anweisungen als auch der Code wurden von großen Sprachmodellen generiert und in einer Docker-Umgebung auf Korrektheit überprüft. Er deckt verschiedene Programmierszenarien ab, einschließlich Optimierungen auf Anweisungsebene, und eignet sich zur Verbesserung der Modellleistung bei spezifischen Codeaufgaben.

Zusammensetzung des Datensatzes

Der Datensatz besteht hauptsächlich aus den folgenden zwei Feldern, wobei jede Dateninstanz eine vollständige Programmieraufgabe repräsentiert:

• instruction: Ein String-Feld, das eine detaillierte Beschreibung der Programmieraufgabe enthält, einschließlich der Funktionen, Randbedingungen und Optimierungsvorgaben des Codes.
• output: Ein String-Feld, das die Python-Codeimplementierung enthält, welche die oben genannten Anweisungen erfüllt.

Alle Daten bestehen aus von Experten erstellten Anweisungen und synthetisch generiertem Modellcode und enthalten keine zusätzlichen Metadaten- oder Kommentarfelder.

Zitierung

@misc{wang2025epicoderencompassingdiversitycomplexity,
      title={EpiCoder: Encompassing Diversity and Complexity in Code Generation}, 
      author={Yaoxiang Wang and Haoling Li and Xin Zhang and Jie Wu and Xiao Liu and Wenxiang Hu and Zhongxin Guo and Yangyu Huang and Ying Xin and Yujiu Yang and Jinsong Su and Qi Chen and Scarlett Li},
      year={2025},
      eprint={2501.04694},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2501.04694}, 
}