In diesem Bericht stellen wir Qwen2.5 vor, eine umfassende Serie großer Sprachmodelle (Large Language Models, LLMs), die auf die unterschiedlichsten Anforderungen zugeschnitten sind. Im Vergleich zu früheren Versionen wurden Qwen2.5 in beiden Phasen – der Vor- und der Nachtrainingsphase – erheblich verbessert. Bei der Vortrainingphase haben wir die hochwertigen Vortrainingsdatensätze von zuvor 7 Billionen Tokens auf 18 Billionen Tokens skaliert. Dies legt eine solide Grundlage für allgemeines Wissen, fachliches Expertenwissen sowie Schlussfolgerungsfähigkeiten. In der Nachtrainingsphase setzen wir eine detaillierte, überwachte Feinjustierung mit über einer Million Trainingsbeispielen sowie mehrstufiges Verstärkungslernen (Reinforcement Learning) ein. Diese Nachtrainingsmethoden stärken die Übereinstimmung mit menschlichen Präferenzen und verbessern insbesondere die Generierung langer Texte, die Analyse strukturierter Daten sowie die Befolgung von Anweisungen. Um eine Vielzahl unterschiedlicher Anwendungsfälle effektiv abzudecken, präsentieren wir die Qwen2.5-LLM-Serie in verschiedenen Größen. Zu den öffentlich verfügbaren Modellen gehören sowohl Basismodelle als auch auf Anweisungen angepasste Varianten, wobei auch quantisierte Versionen zur Verfügung stehen. Zudem bieten wir für gehostete Lösungen zwei proprietäre Mixture-of-Experts-(MoE)-Varianten an: Qwen2.5-Turbo und Qwen2.5-Plus, die beide über das Alibaba Cloud Model Studio zugänglich sind. Qwen2.5 erreicht herausragende Leistung auf einer Vielzahl von Benchmarks zur Bewertung von Sprachverständnis, Schlussfolgerungsfähigkeit, Mathematik, Programmierung sowie der Ausrichtung an menschlichen Präferenzen. Insbesondere übertrifft das Open-Weight-Flaggschiff Qwen2.5-72B-Instruct mehrere offene und proprietäre Modelle und zeigt eine konkurrenzfähige Leistung gegenüber dem derzeit führenden offenen Modell Llama-3-405B-Instruct, das etwa fünfmal größer ist. Qwen2.5-Turbo und Qwen2.5-Plus bieten eine hervorragende Kosten-Nutzen-Relation und schneiden jeweils konkurrenzfähig gegenüber GPT-4o-mini und GPT-4o ab. Zudem dienen die Qwen2.5-Modelle als Grundlage für die Entwicklung spezialisierter Modelle wie Qwen2.5-Math, Qwen2.5-Coder, QwQ sowie multimodaler Modelle.