منذ 11 أيام

تقرير فني لـ Qwen

Jinze Bai, Shuai Bai, Yunfei Chu, Zeyu Cui, Kai Dang, Xiaodong Deng, Yang Fan, Wenbin Ge, Yu Han, Fei Huang, Binyuan Hui, Luo Ji, Mei Li, Junyang Lin, Runji Lin, Dayiheng Liu, Gao Liu, Chengqiang Lu, Keming Lu, Jianxin Ma, Rui Men, Xingzhang Ren, Xuancheng Ren, Chuanqi Tan, Sinan Tan, Jianhong Tu, Peng Wang, Shijie Wang, Wei Wang, Shengguang Wu, Benfeng Xu, Jin Xu, An Yang, Hao Yang, Jian Yang, Shusheng Yang, Yang Yao, Bowen Yu, Hongyi Yuan, Zheng Yuan, Jianwei Zhang, Xingxuan Zhang, Yichang Zhang, Zhenru Zhang, Chang Zhou, Jingren Zhou, Xiaohuan Zhou, Tianhang Zhu

عرض تفاصيل الورقة البحثية

الملخص

أحدثت النماذج اللغوية الكبيرة (LLMs) ثورة في مجال الذكاء الاصطناعي، مما مكّن من تنفيذ مهام معالجة اللغة الطبيعية التي كانت تُعتبر سابقًا حكرًا على البشر. في هذا العمل، نقدم "كوين" (Qwen)، أول إصدار من سلسلتنا الخاصة بالنماذج اللغوية الكبيرة. تُعدّ "كوين" سلسلة شاملة من النماذج اللغوية التي تشمل نماذج مختلفة بحجم متنوع من المعاملات (البارامترات). وتشمل هذه السلسلة "كوين" كنماذج لغوية مُدرّبة مسبقًا، و"كوين-تشات" (Qwen-Chat) كنماذج محادثة تم تحسينها باستخدام تقنيات محاذاة البشر. وتُظهر النماذج الأساسية أداءً متفوقًا باستمرار في العديد من المهام اللاحقة، بينما تُعدّ نماذج المحادثة، وخاصة تلك التي تم تدريبها باستخدام التعلم بالتعزيز من خلال التغذية الراجعة البشرية (RLHF)، منافسة قوية. وتتميز نماذج المحادثة بقدرات متقدمة في استخدام الأدوات والتخطيط لبناء تطبيقات الوكيل (agent applications)، وتُظهر أداءً مُبهرًا حتى مقارنةً بالنماذج الأكبر في المهام المعقدة مثل استخدام مفسر التعليمات البرمجية (code interpreter). علاوةً على ذلك، قمنا بتطوير نماذج متخصصة في البرمجة، وهي "كود-كوين" (Code-Qwen) و"كود-كوين-تشات" (Code-Qwen-Chat)، بالإضافة إلى نماذج متخصصة في الرياضيات، مثل "ماث-كوين-تشات" (Math-Qwen-Chat)، والتي تم بناؤها على أساس النماذج اللغوية الأساسية. وتُظهر هذه النماذج أداءً مُحسّنًا بشكل ملحوظ مقارنةً بالنماذج المفتوحة المصدر، وتتفوّق قليلاً على النماذج المُملَّكة (الخاصة).