2日前

Intern-S1：科学用マルチモーダル基盤モデル

Lei Bai, Zhongrui Cai, Maosong Cao, Weihan Cao, Chiyu Chen, Haojiong Chen, Kai Chen, Pengcheng Chen, Ying Chen, Yongkang Chen, Yu Cheng, Yu Cheng, Pei Chu, Tao Chu, Erfei Cui, Ganqu Cui, Long Cui, Ziyun Cui, Nianchen Deng, Ning Ding, Nanqin Dong, Peijie Dong, Shihan Dou, Sinan Du, Haodong Duan, Caihua Fan, Ben Gao, Changjiang Gao, Jianfei Gao, Songyang Gao, Yang Gao, Zhangwei Gao, Jiaye Ge, Qiming Ge, Lixin Gu, Yuzhe Gu, Aijia Guo, Qipeng Guo, Xu Guo, Conghui He, Junjun He, Yili Hong, Siyuan Hou, Caiyu Hu, Hanglei Hu, Jucheng Hu, Ming Hu, Zhouqi Hua, Haian Huang, Junhao Huang, Xu Huang, Zixian Huang, Zhe Jiang, Lingkai Kong, Linyang Li, Peiji Li, Pengze Li, Shuaibin Li, Tianbin Li, Wei Li, Yuqiang Li, Dahua Lin, Junyao Lin, Tianyi Lin, Zhishan Lin, Hongwei Liu, Jiangning Liu, Jiyao Liu, Junnan Liu, Kai Liu, Kaiwen Liu, Kuikun Liu, Shichun Liu, Shudong Liu, Wei Liu, Xinyao Liu, Yuhong Liu, Zhan Liu, Yinquan Lu, Haijun Lv, Hongxia Lv, Huijie Lv, Qidang Lv, Ying Lv, Chengqi Lyu, Chenglong Ma, Jianpeng Ma, Ren Ma, Runmin Ma, Runyuan Ma, Xinzhu Ma, Yichuan Ma, Zihan Ma, Sixuan Mi, Junzhi Ning, Wenchang Ning, Xinle Pang, Jiahui Peng, Runyu Peng, Yu Qiao, Jiantao Qiu, Xiaoye Qu, Yuan Qu, Yuchen Ren, Fukai Shang, Wenqi Shao, Junhao Shen, Shuaike Shen, Chunfeng Song, Demin Song, Diping Song, Chenlin Su, Weijie Su, Weigao Sun, Yu Sun, Qian Tan, Cheng Tang, Huanze Tang, Kexian Tang, Shixiang Tang, Jian Tong, Aoran Wang, Bin Wang, Dong Wang, Lintao Wang, Rui Wang, Weiyun Wang, Wenhai Wang, Yi Wang, Ziyi Wang, Ling-I Wu, Wen Wu, Yue Wu, Zijian Wu, Linchen Xiao, Shuhao Xing, Chao Xu, Huihui Xu, Jun Xu, Ruiliang Xu, Wanghan Xu, GanLin Yang, Yuming Yang, Haochen Ye, Jin Ye, Shenglong Ye, Jia Yu, Jiashuo Yu, Jing Yu, Fei Yuan, Bo Zhang, Chao Zhang, Chen Zhang, Hongjie Zhang, Jin Zhang, Qiaosheng Zhang, Qiuyinzhe Zhang, Songyang Zhang, Taolin Zhang, Wenlong Zhang, Wenwei Zhang, Yechen Zhang, Ziyang Zhang, Haiteng Zhao, Qian Zhao, Xiangyu Zhao, Xiangyu Zhao, Bowen Zhou, Dongzhan Zhou, Peiheng Zhou, Yuhao Zhou, Yunhua Zhou, Dongsheng Zhu, Lin Zhu, Yicheng Zou

論文の詳細を見る View Code

要約

近年、多数のオープンソース基盤モデルが登場し、広く注目される分野において顕著な進展を遂げ、閉鎖型モデルと比較してもその性能は非常に近い水準にまで達している。しかし、価値が高くながらもより困難な科学専門分野では、依然として専門家モデルに依存する状況が続き、汎用基盤モデルの進展は人気分野に比べて著しく遅れており、科学的研究の変革に十分な水準に達しておらず、オープンソースモデルと閉鎖型モデルとの間には依然として大きなギャップが存在している。このギャップを縮小し、人工一般知能（AGI）への一歩を踏み出すために、本研究では、複数の科学的データモダリティを分析する専門的な理解力と推論能力を備えた汎用型モデル「Intern-S1」を提案する。Intern-S1は、280億のアクティベートパラメータと2410億の合計パラメータを有するマルチモーダルMixture-of-Experts（MoE）モデルであり、5テラトークンに及ぶデータで継続的な事前学習が行われており、そのうち2.5テラトークン以上が科学分野からのデータである。後期学習段階では、InternBootCampにおいてオフラインおよびオンラインの強化学習（RL）を実施し、1000以上のタスクを同時に効果的に学習するため、我々は「Mixture-of-Rewards（MoR）」を提案した。アルゴリズム、データ、トレーニングシステムにおける統合的な革新を通じて、Intern-S1はオンライン強化学習訓練においてトップクラスの性能を達成した。包括的な評価ベンチマークにおいて、Intern-S1はオープンソースモデルの中でも汎用的推論タスクで競争力のある性能を示し、科学分野ではオープンソースモデルを大きく上回る成果を上げ、分子合成計画や反応条件予測、結晶の熱力学的安定性予測といった専門的タスクにおいて、閉鎖型モデルの最先端技術をも凌駕した。本モデルの詳細および利用方法は、https://huggingface.co/internlm/Intern-S1 にて公開されている。