Das BigCode-Projekt, eine offene wissenschaftliche Zusammenarbeit mit Fokus auf die verantwortungsvolle Entwicklung von Large Language Models for Code (Code LLMs), stellt StarCoder2 vor. In Kooperation mit Software Heritage (SWH) bauen wir The Stack v2 auf der digitalen Gemeinschaft ihres Quellcode-Archivs auf. Neben den SWH-Repositorys, die 619 Programmiersprachen umfassen, wählen wir sorgfältig weitere hochwertige Datensätze aus, wie beispielsweise GitHub-Pull-Requests, Kaggle-Notebooks und Code-Dokumentation. Dies führt zu einem Trainingsdatensatz, der viermal so groß ist wie der erste StarCoder-Datensatz. Wir trainieren StarCoder2-Modelle mit 3B, 7B und 15B Parametern auf 3,3 bis 4,3 Billionen Tokens und evaluieren sie umfassend anhand einer Vielzahl von Code LLM-Benchmarks. Wir stellen fest, dass unser kleines Modell, StarCoder2-3B, auf den meisten Benchmarks andere Code LLMs ähnlicher Größe übertrifft und zudem StarCoderBase-15B schlägt. Unser großes Modell, StarCoder2-15B, übertrifft erheblich andere Modelle vergleichbarer Größe. Zudem erreicht es die Leistung von CodeLlama-34B, einem Modell, das mehr als doppelt so groß ist. Obwohl DeepSeekCoder-33B das bestperformende Modell für Code-Vervollständigung in hochressourcenreichen Sprachen ist, zeigt StarCoder2-15B eine bessere Leistung bei mathematischen und code-relationellen Benchmarks sowie bei mehreren sprachlich unterversorgten Sprachen. Die Modellgewichte stellen wir unter einer OpenRAIL-Lizenz zur Verfügung und gewährleisten volle Transparenz bezüglich der Trainingsdaten durch die Veröffentlichung der Software Heritage persistent IDentifiers (SWHIDs) der Quellcode-Daten.