11 天前
通义千问技术报告
Jinze Bai, Shuai Bai, Yunfei Chu, Zeyu Cui, Kai Dang, Xiaodong Deng, Yang Fan, Wenbin Ge, Yu Han, Fei Huang, Binyuan Hui, Luo Ji, Mei Li, Junyang Lin, Runji Lin, Dayiheng Liu, Gao Liu, Chengqiang Lu, Keming Lu, Jianxin Ma, Rui Men, Xingzhang Ren, Xuancheng Ren, Chuanqi Tan, Sinan Tan, Jianhong Tu, Peng Wang, Shijie Wang, Wei Wang, Shengguang Wu, Benfeng Xu, Jin Xu, An Yang, Hao Yang, Jian Yang, Shusheng Yang, Yang Yao, Bowen Yu, Hongyi Yuan, Zheng Yuan, Jianwei Zhang, Xingxuan Zhang, Yichang Zhang, Zhenru Zhang, Chang Zhou, Jingren Zhou, Xiaohuan Zhou, Tianhang Zhu
摘要
大规模语言模型（LLMs）已彻底革新了人工智能领域，使此前被认为仅限人类完成的自然语言处理任务成为可能。在本工作中，我们推出了“通义千问”（Qwen），这是我们的大规模语言模型系列的首个版本。Qwen是一个涵盖多种参数规模的综合性语言模型系列，包括基础预训练语言模型Qwen，以及通过人类对齐技术进行微调的对话模型Qwen-Chat。基础语言模型在众多下游任务中持续展现出卓越的性能，而对话模型，尤其是采用人类反馈强化学习（Reinforcement Learning from Human Feedback, RLHF）训练的模型，表现尤为出色，具备极强的竞争力。这些对话模型在工具调用与任务规划方面展现出先进的能力，适用于构建智能代理（agent）应用，在复杂任务（如使用代码解释器）中表现优异，甚至可与参数量更大的模型相媲美。此外，我们还开发了面向特定领域的专用模型：Code-Qwen与Code-Qwen-Chat（代码专项模型），以及Math-Qwen-Chat（数学专项模型），这些模型均基于基础语言模型构建。实验结果表明，这些专用模型在性能上显著优于现有开源模型，仅在部分指标上略逊于闭源商业模型。