EpiCoder-func-380k est un ensemble de données publié par Microsoft en 2025, spécialisé dans le fine-tuning des capacités de génération de code des grands modèles de langage. Les résultats associés sont présentés dans la publication « EpiCoder: Encompassing Diversity and Complexity in Code Generation », visant à relever les défis liés à la diversité et à la complexité des instructions dans les tâches de génération de code.

Cet ensemble de données contient 380 000 paires instruction-sortie au niveau des fonctions, spécifiquement conçues pour entraîner les grands modèles de langage à générer du code Python à partir d'instructions textuelles détaillées. L'ensemble de données est construit par synthèse : les instructions et le code sont générés par des grands modèles de langage et leur exactitude est vérifiée dans un environnement Docker. Il couvre divers scénarios de programmation, notamment l'optimisation de l'instruction-level parallelism, et est adapté pour améliorer les performances des modèles sur des tâches de code spécifiques.

Composition de l'ensemble de données

L'ensemble de données se compose principalement des deux champs suivants, chaque entrée représentant une instance complète d'une tâche de programmation :

• instruction : de type chaîne de caractères, contient une description détaillée de la tâche de programmation, spécifiant les fonctionnalités du code, les contraintes et les exigences d'optimisation.
• output : de type chaîne de caractères, contient l'implémentation du code Python satisfaisant aux instructions ci-dessus.

Toutes les données sont constituées de paires d'instructions générées par des experts et de codes synthétisés par des modèles, sans champs supplémentaires de métadonnées ni de commentaires.

Citation

@misc{wang2025epicoderencompassingdiversitycomplexity,
      title={EpiCoder: Encompassing Diversity and Complexity in Code Generation}, 
      author={Yaoxiang Wang and Haoling Li and Xin Zhang and Jie Wu and Xiao Liu and Wenxiang Hu and Zhongxin Guo and Yangyu Huang and Ying Xin and Yujiu Yang and Jinsong Su and Qi Chen and Scarlett Li},
      year={2025},
      eprint={2501.04694},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2501.04694}, 
}