我们发布了 Code Llama，这是一系列基于 Llama 2 的大型代码语言模型，具备当前开源模型中的顶尖性能，支持代码补全（infilling）能力、大输入上下文支持，以及在编程任务上无需微调即可遵循指令的零样本（zero-shot）能力。为满足广泛的应用需求，我们提供了多种版本：基础模型（Code Llama）、专用于 Python 的模型（Code Llama - Python），以及指令遵循型模型（Code Llama - Instruct），每种均提供 7B、13B、34B 和 70B 参数规模的版本。所有模型均在 16k token 的序列长度上进行训练，并在长达 100k token 的输入上展现出显著性能提升。其中，7B、13B 和 70B 参数规模的 Code Llama 及 Code Llama - Instruct 版本支持基于上下文内容的代码补全（infilling）功能。在多个代码基准测试中，Code Llama 达到了当前开源模型的最先进水平，在 HumanEval 和 MBPP 基准上的得分分别高达 67% 和 65%。尤为突出的是，Code Llama - Python 7B 在 HumanEval 和 MBPP 上的表现超越了 Llama 2 70B 模型，而我们所有模型在 MultiPL-E 基准上均优于所有其他公开可用的模型。Code Llama 采用宽松许可协议发布，允许用于研究及商业用途。