Qwen2.5 技术报告
Qwen, An Yang, Baosong Yang, Beichen Zhang, Binyuan Hui, Bo Zheng, Bowen Yu, Chengyuan Li, Dayiheng Liu, Fei Huang, Haoran Wei, Huan Lin, Jian Yang, Jianhong Tu, Jianwei Zhang, Jianxin Yang, Jiaxi Yang, Jingren Zhou, Junyang Lin, Kai Dang, Keming Lu, Keqin Bao, Kexin Yang, Le Yu, Mei Li, Mingfeng Xue, Pei Zhang, Qin Zhu, Rui Men, Runji Lin, Tianhao Li, Tingyu Xia, Xingzhang Ren, Xuancheng Ren, Yang Fan, Yang Su, Yichang Zhang, Yu Wan, Yuqiong Liu, Zeyu Cui, Zhenru Zhang, Zihan Qiu
发布日期: 4/24/2025
摘要
在本报告中，我们介绍了Qwen2.5，这是一系列旨在满足多样化需求的大型语言模型（LLMs）。与之前的版本相比，Qwen2.5在预训练和后训练阶段都得到了显著改进。在预训练方面，我们已将高质量预训练数据集的规模从之前的7万亿个标记扩展到18万亿个标记。这为模型的常识、专业知识和推理能力提供了坚实的基础。在后训练方面，我们实施了超过100万个样本的复杂监督微调以及多阶段强化学习。这些后训练技术增强了模型的人类偏好，并显著改善了长文本生成、结构化数据分析和指令遵循能力。 为了有效处理各种多样化的应用场景，我们提供了多种规模的Qwen2.5 LLM系列。开放权重版本包括基础模型和指令调优模型，并提供量化版本。此外，对于托管解决方案，目前专有模型包括两种专家混合（MoE）变体：Qwen2.5-Turbo和Qwen2.5-Plus，均可从阿里云模型工作室获取。Qwen2.5在一系列评估语言理解、推理、数学、编程、人类偏好对齐等能力的基准测试中表现出色。特别是开放权重旗舰版Qwen2.5-72B-Instruct在性能上超越了多个开放和专有模型，并展示了与当前最先进的开放权重模型Llama-3-405B-Instruct相当的性能，而后者规模约为其5倍。Qwen2.5-Turbo和Qwen2.5-Plus在保持与GPT-4o-mini和GPT-4o相当性能的同时，提供了更高的成本效益。 此外，作为基础模型，Qwen2.5在训练专门化模型如Qwen2.5-Math、Qwen2.5-Coder、QwQ以及多模态模型方面发挥了重要作用。