チャットGPTやGPT-4などの大規模言語モデル（LLM）の進化は、人工汎用知能（AGI）の到来についての議論を引き起こしている。しかし、こうした進展をオープンソースモデルで再現することは困難であった。本論文では、6つの次元および30のベンチマーク、長文脈モデリング、および開かれた主観評価において、従来モデルを上回る性能を発揮するオープンソースLLM「InternLM2」を紹介する。この成果は、革新的な事前学習および最適化技術に基づくものである。InternLM2の事前学習プロセスは詳細に記述されており、テキスト、コード、長文脈データなど多様なデータタイプの準備が強調されている。InternLM2は、初期段階で4kトークン、その後32kトークンに拡張された事前学習および微調整段階を経ることで、長期依存関係を効率的に捉え、20万トークンの「ハイストックの中の針（Needle-in-a-Haystack）」テストにおいて顕著な性能を示している。さらに、Supervised Fine-Tuning（SFT）と、人間の矛盾する好みや報酬の悪用（reward hacking）を解決する新たな「条件付きオンライン人間フィードバックによる強化学習（Conditional Online Reinforcement Learning from Human Feedback: COOL RLHF）」戦略を用いて、モデルの調整が行われた。InternLM2の異なる学習段階およびモデルサイズのバージョンを公開することで、コミュニティに対しモデルの進化過程に関する貴重な知見を提供する。