Les grands modèles linguistiques pour le code (Code LLMs), tels que StarCoder, ont fait preuve d'une performance exceptionnelle sur des tâches liées au code. Toutefois, la plupart des modèles existants sont uniquement pré-entraînés sur de vastes ensembles de données brutes de code, sans finetuning par instruction. Dans cet article, nous introduisons WizardCoder, un modèle qui confère aux Code LLMs une capacité avancée grâce à un finetuning complexe par instruction, en adaptant la méthode Evol-Instruct au domaine du code. À travers des expérimentations approfondies sur quatre benchmarks majeurs de génération de code — HumanEval, HumanEval+, MBPP et DS-1000 — nous mettons en lumière les capacités exceptionnelles de notre modèle, qui dépasse largement tous les autres Code LLM open-source. De plus, notre modèle surpasse même les plus grands modèles fermés, tels que Claude d’Anthropic et Bard de Google, sur HumanEval et HumanEval+. Le code source, les poids du modèle et les données sont disponibles publiquement à l’adresse suivante : https://github.com/nlpxucan/WizardLM