L'ajustement fin des grands modèles de langage (LLMs) sur des instructions conduit à d'importantes améliorations des performances sur les tâches de traitement du langage naturel. Nous appliquons l'ajustement fin des instructions en utilisant du code, en exploitant la structure naturelle des commits Git, qui associent des modifications de code à des instructions humaines. Nous avons compilé CommitPack : 4 téraoctets de commits Git couvrant 350 langages de programmation. Nous évaluons CommitPack par rapport à d'autres instructions de code naturelles et synthétiques (xP3x, Self-Instruct, OASST) sur le modèle StarCoder avec 16 milliards de paramètres, et nous obtenons des performances d'avant-garde parmi les modèles n'ayant pas été entraînés sur les sorties d'OpenAI, sur le benchmark HumanEval Python (46,2% pass@1). Nous introduisons également HumanEvalPack, qui étend le benchmark HumanEval à un total de 3 tâches de codage (Correction de code, Explication de code, Synthèse de code) dans 6 langages (Python, JavaScript, Java, Go, C++, Rust). Nos modèles, OctoCoder et OctoGeeX, obtiennent les meilleures performances sur HumanEvalPack parmi tous les modèles permissifs, démontrant ainsi les avantages de CommitPack pour généraliser à un ensemble plus large de langages et de tâches naturelles de codage. Le code, les modèles et les données sont librement disponibles à l'adresse suivante : https://github.com/bigcode-project/octopack.