منذ 2 أيام

Intern-S1: نموذج أساسي متعدد الوسائط علمي

Lei Bai, Zhongrui Cai, Maosong Cao, Weihan Cao, Chiyu Chen, Haojiong Chen, Kai Chen, Pengcheng Chen, Ying Chen, Yongkang Chen, Yu Cheng, Yu Cheng, Pei Chu, Tao Chu, Erfei Cui, Ganqu Cui, Long Cui, Ziyun Cui, Nianchen Deng, Ning Ding, Nanqin Dong, Peijie Dong, Shihan Dou, Sinan Du, Haodong Duan, Caihua Fan, Ben Gao, Changjiang Gao, Jianfei Gao, Songyang Gao, Yang Gao, Zhangwei Gao, Jiaye Ge, Qiming Ge, Lixin Gu, Yuzhe Gu, Aijia Guo, Qipeng Guo, Xu Guo, Conghui He, Junjun He, Yili Hong, Siyuan Hou, Caiyu Hu, Hanglei Hu, Jucheng Hu, Ming Hu, Zhouqi Hua, Haian Huang, Junhao Huang, Xu Huang, Zixian Huang, Zhe Jiang, Lingkai Kong, Linyang Li, Peiji Li, Pengze Li, Shuaibin Li, Tianbin Li, Wei Li, Yuqiang Li, Dahua Lin, Junyao Lin, Tianyi Lin, Zhishan Lin, Hongwei Liu, Jiangning Liu, Jiyao Liu, Junnan Liu, Kai Liu, Kaiwen Liu, Kuikun Liu, Shichun Liu, Shudong Liu, Wei Liu, Xinyao Liu, Yuhong Liu, Zhan Liu, Yinquan Lu, Haijun Lv, Hongxia Lv, Huijie Lv, Qidang Lv, Ying Lv, Chengqi Lyu, Chenglong Ma, Jianpeng Ma, Ren Ma, Runmin Ma, Runyuan Ma, Xinzhu Ma, Yichuan Ma, Zihan Ma, Sixuan Mi, Junzhi Ning, Wenchang Ning, Xinle Pang, Jiahui Peng, Runyu Peng, Yu Qiao, Jiantao Qiu, Xiaoye Qu, Yuan Qu, Yuchen Ren, Fukai Shang, Wenqi Shao, Junhao Shen, Shuaike Shen, Chunfeng Song, Demin Song, Diping Song, Chenlin Su, Weijie Su, Weigao Sun, Yu Sun, Qian Tan, Cheng Tang, Huanze Tang, Kexian Tang, Shixiang Tang, Jian Tong, Aoran Wang, Bin Wang, Dong Wang, Lintao Wang, Rui Wang, Weiyun Wang, Wenhai Wang, Yi Wang, Ziyi Wang, Ling-I Wu, Wen Wu, Yue Wu, Zijian Wu, Linchen Xiao, Shuhao Xing, Chao Xu, Huihui Xu, Jun Xu, Ruiliang Xu, Wanghan Xu, GanLin Yang, Yuming Yang, Haochen Ye, Jin Ye, Shenglong Ye, Jia Yu, Jiashuo Yu, Jing Yu, Fei Yuan, Bo Zhang, Chao Zhang, Chen Zhang, Hongjie Zhang, Jin Zhang, Qiaosheng Zhang, Qiuyinzhe Zhang, Songyang Zhang, Taolin Zhang, Wenlong Zhang, Wenwei Zhang, Yechen Zhang, Ziyang Zhang, Haiteng Zhao, Qian Zhao, Xiangyu Zhao, Xiangyu Zhao, Bowen Zhou, Dongzhan Zhou, Peiheng Zhou, Yuhao Zhou, Yunhua Zhou, Dongsheng Zhu, Lin Zhu, Yicheng Zou

عرض تفاصيل الورقة البحثية View Code

Intern-S1: نموذج أساسي متعدد الوسائط علمي

الملخص

في السنوات الأخيرة، ظهرت كمّ هائل من النماذج الأساسية المفتوحة المصدر، وأحرزت تقدماً ملحوظاً في بعض المجالات الشائعة والمحفزة، حيث بلغت أداؤها مستوى قريب من نماذج المصدر المغلق. ومع ذلك، في المجالات العلمية المتخصصة ذات القيمة العالية ولكنها أكثر تحدياً، إما أن هذه المجالات ما زالت تعتمد على نماذج خبراء، أو أن تقدم النماذج الأساسية العامة يتأخر بشكل كبير مقارنةً بالمناطق الشائعة، ما يُعدّ غير كافٍ لتحويل البحث العلمي، ويترك فجوة كبيرة بين النماذج المفتوحة المصدر والنموذج المغلقة المصدر في هذه المجالات العلمية. ولتقليل هذه الفجوة واستكشاف خطوة إضافية نحو الذكاء الاصطناعي العام (AGI)، نقدّم نموذج Intern-S1، وهو نموذج عام متخصص يتمتع بقدرات عامة في الفهم والاستنتاج، ويتميز بخبرة متخصصة في تحليل البيانات متعددة الأشكال في المجالات العلمية. يُعدّ Intern-S1 نموذجًا متعدد الوسائط من نوع "مزيج الخبراء" (Mixture-of-Experts - MoE)، يحتوي على 28 مليار معلمة مفعّلة و241 مليار معلمة إجمالية، وقد تم تدريبه بشكل مستمر على 5 تيرابايت من الرموز (tokens)، منها أكثر من 2.5 تيرابايت من مصادر علمية. وفي مرحلة ما بعد التدريب، يمرّ Intern-S1 بتدريب مُعزّز خارج الشبكة (offline) ثم تدريب مُعزّز عبر الشبكة (online) ضمن منصة InternBootCamp، حيث نقترح نموذج "مزيج المكافآت" (Mixture-of-Rewards - MoR) لدمج تدريب التعلم المُعزّز على أكثر من 1000 مهمة في آنٍ واحد. وبفضل الابتكارات المتكاملة في الخوارزميات، وبيانات التدريب، وأنظمة التدريب، حقق Intern-S1 أداءً من الطراز الرفيع في تدريب التعلم المُعزّز عبر الشبكة. وفي معايير التقييم الشاملة، أظهر Intern-S1 أداءً تنافسياً في المهام العامة للاستنتاج بين النماذج المفتوحة المصدر، كما تفوق بشكل كبير على النماذج المفتوحة المصدر في المجالات العلمية، متفوقاً على النماذج المغلقة المصدر الرائدة في المهام المتخصصة، مثل تخطيط تصنيع الجزيئات، وتوقع ظروف التفاعل، وتقدير الاستقرار الديناميكي الحراري للمواد البلورية. يمكن الوصول إلى نماذجنا عبر الرابط التالي: https://huggingface.co/internlm/Intern-S1.