Nous lançons Code Llama, une famille de modèles linguistiques à grande échelle dédiés au code, basée sur Llama 2, offrant des performances de pointe parmi les modèles open-source, une capacité d’infillement (complétion partielle), un support de contextes d’entrée étendus et une capacité d’adaptation zéro-shot aux instructions pour les tâches de programmation. Nous proposons plusieurs variantes afin de couvrir un large éventail d’applications : des modèles fondamentaux (Code Llama), des spécialisations pour Python (Code Llama - Python) et des modèles capables de suivre des instructions (Code Llama - Instruct), tous disponibles avec 7B, 13B, 34B et 70B paramètres. Tous ces modèles ont été entraînés sur des séquences de 16 000 tokens et montrent des améliorations sur des entrées pouvant atteindre jusqu’à 100 000 tokens. Les variantes Code Llama et Code Llama - Instruct de 7B, 13B et 70B paramètres supportent l’infillement basé sur le contexte environnant. Code Llama atteint des performances de pointe parmi les modèles open-source sur plusieurs benchmarks de code, avec des scores atteignant 67 % et 65 % sur HumanEval et MBPP, respectivement. Notamment, Code Llama - Python 7B dépasse les performances de Llama 2 70B sur HumanEval et MBPP, et tous nos modèles surpassent chaque autre modèle disponible publiquement sur MultiPL-E. Code Llama est publié sous une licence permissive autorisant à la fois l’utilisation en recherche et commerciale.