16日前
InternLM2 技術報告
Zheng Cai, Maosong Cao, Haojiong Chen, Kai Chen, Keyu Chen, Xin Chen, Xun Chen, Zehui Chen, Zhi Chen, Pei Chu, Xiaoyi Dong, Haodong Duan, Qi Fan, Zhaoye Fei, Yang Gao, Jiaye Ge, Chenya Gu, Yuzhe Gu, Tao Gui, Aijia Guo, Qipeng Guo, Conghui He, Yingfan Hu, Ting Huang, Tao Jiang, Penglong Jiao, Zhenjiang Jin, Zhikai Lei, Jiaxing Li, Jingwen Li, Linyang Li, Shuaibin Li, Wei Li, Yining Li, Hongwei Liu, Jiangning Liu, Jiawei Hong, Kaiwen Liu, Kuikun Liu, Xiaoran Liu, Chengqi Lv, Haijun Lv, Kai Lv, Li Ma, Runyuan Ma, Zerun Ma, Wenchang Ning, Linke Ouyang, Jiantao Qiu, Yuan Qu, Fukai Shang, Yunfan Shao, Demin Song, Zifan Song, Zhihao Sui, Peng Sun, Yu Sun, Huanze Tang, Bin Wang, Guoteng Wang, Jiaqi Wang, Jiayu Wang, Rui Wang, Yudong Wang, Ziyi Wang, Xingjian Wei, Qizhen Weng, Fan Wu, Yingtong Xiong, Chao Xu, Ruiliang Xu, Hang Yan, Yirong Yan, Xiaogui Yang, Haochen Ye, Huaiyuan Ying, Jia Yu, Jing Yu, Yuhang Zang, Chuyu Zhang, Li Zhang, Pan Zhang, Peng Zhang, Ruijie Zhang, Shuo Zhang, Songyang Zhang, Wenjian Zhang, Wenwei Zhang, Xingcheng Zhang, Xinyue Zhang, Hui Zhao, Qian Zhao, Xiaomeng Zhao, Fengzhe Zhou, Zaida Zhou, Jingming Zhuo, Yicheng Zou, Xipeng Qiu, Yu Qiao, Dahua Lin
要約
チャットGPTやGPT-4などの大規模言語モデル（LLM）の進化は、人工汎用知能（AGI）の到来についての議論を引き起こしている。しかし、こうした進展をオープンソースモデルで再現することは困難であった。本論文では、6つの次元および30のベンチマーク、長文脈モデリング、および開かれた主観評価において、従来モデルを上回る性能を発揮するオープンソースLLM「InternLM2」を紹介する。この成果は、革新的な事前学習および最適化技術に基づくものである。InternLM2の事前学習プロセスは詳細に記述されており、テキスト、コード、長文脈データなど多様なデータタイプの準備が強調されている。InternLM2は、初期段階で4kトークン、その後32kトークンに拡張された事前学習および微調整段階を経ることで、長期依存関係を効率的に捉え、20万トークンの「ハイストックの中の針（Needle-in-a-Haystack）」テストにおいて顕著な性能を示している。さらに、Supervised Fine-Tuning（SFT）と、人間の矛盾する好みや報酬の悪用（reward hacking）を解決する新たな「条件付きオンライン人間フィードバックによる強化学習（Conditional Online Reinforcement Learning from Human Feedback: COOL RLHF）」戦略を用いて、モデルの調整が行われた。InternLM2の異なる学習段階およびモデルサイズのバージョンを公開することで、コミュニティに対しモデルの進化過程に関する貴重な知見を提供する。