Ce rapport présente la série Qwen2, la dernière mise à jour de nos modèles de langage à grande échelle ainsi que de nos modèles multimodaux à grande échelle. Nous mettons à disposition une suite complète de modèles de langage fondamentaux et ajustés par instruction, couvrant une gamme de paramètres allant de 0,5 à 72 milliards, incluant des modèles à densité unique ainsi qu’un modèle à mélange d’experts (Mixture-of-Experts). Le modèle Qwen2 dépasse la plupart des modèles open-weight antérieurs, y compris son prédécesseur Qwen1.5, et affiche des performances compétitives par rapport aux modèles propriétaires sur diverses évaluations, dans des domaines tels que la compréhension du langage, la génération, la maîtrise multilingue, la programmation, les mathématiques et le raisonnement.Le modèle phare, Qwen2-72B, affiche des performances remarquables : 84,2 sur MMLU, 37,9 sur GPQA, 64,6 sur HumanEval, 89,5 sur GSM8K et 82,4 sur BBH en tant que modèle de base. La version ajustée par instruction, Qwen2-72B-Instruct, atteint 9,1 sur MT-Bench, 48,1 sur Arena-Hard et 35,7 sur LiveCodeBench. En outre, Qwen2 démontre une capacité solide à la multilinguisme, maîtrisant approximativement 30 langues, parmi lesquelles l’anglais, le chinois, l’espagnol, le français, l’allemand, l’arabe, le russe, le coréen, le japonais, le thaï, le vietnamien, et bien d’autres, témoignant ainsi de sa polyvalence et de sa portée mondiale.Afin de favoriser l’innovation et l’accessibilité au sein de la communauté, nous mettons publiquement à disposition les poids du modèle Qwen2 sur Hugging Face¹ et ModelScope², ainsi que les ressources complémentaires, y compris des exemples de code, sur GitHub³. Ces plateformes incluent également des ressources pour la quantification, le fine-tuning et le déploiement, facilitant ainsi une large variété d’applications et de recherches.