Dans ce rapport, nous présentons Qwen2.5, une série complète de grands modèles linguistiques (LLM) conçus pour répondre à des besoins variés. Par rapport aux versions précédentes, Qwen2.5 a connu des améliorations significatives tant au stade de l’entraînement préalable que de l’entraînement postérieur. En ce qui concerne l’entraînement préalable, nous avons étendu les jeux de données d’entraînement de haute qualité, passant de 7 billions à 18 billions de tokens. Cette augmentation fournit une base solide en termes de sens commun, de connaissances spécialisées et de capacités de raisonnement. En ce qui concerne l’entraînement postérieur, nous avons mis en œuvre un finetuning supervisé complexe sur plus d’un million d’échantillons, ainsi qu’un apprentissage par renforcement en plusieurs étapes. Ces techniques d’entraînement postérieur renforcent l’alignement avec les préférences humaines, et améliorent notablement la génération de textes longs, l’analyse de données structurées et le respect des instructions. Afin de traiter efficacement des cas d’usage diversifiés et variés, nous proposons la série de modèles Qwen2.5 LLM en plusieurs tailles. Les versions à poids ouverts incluent des modèles de base et des modèles finement ajustés à l’instruction, avec des versions quantifiées disponibles. En outre, pour les solutions hébergées, les modèles propriétaires comprennent actuellement deux variantes à mélange d’experts (MoE) : Qwen2.5-Turbo et Qwen2.5-Plus, tous deux accessibles via Alibaba Cloud Model Studio. Qwen2.5 a démontré des performances de premier plan sur une large gamme de benchmarks évaluant la compréhension linguistique, le raisonnement, les mathématiques, la programmation, l’alignement avec les préférences humaines, etc. Plus précisément, le modèle phare à poids ouverts, Qwen2.5-72B-Instruct, surpasse plusieurs modèles open-source et propriétaires, et affiche des performances comparables au modèle open-source de pointe, Llama-3-405B-Instruct, qui est environ cinq fois plus volumineux. Qwen2.5-Turbo et Qwen2.5-Plus offrent une excellente relation coût-performances, tout en se montrant compétitifs face à GPT-4o-mini et GPT-4o respectivement. En outre, en tant que base, les modèles Qwen2.5 ont joué un rôle clé dans l’entraînement de modèles spécialisés tels que Qwen2.5-Math, Qwen2.5-Coder, QwQ, ainsi que de modèles multimodaux.