Siyuan Wang Gaokai Zhang Li Lyna Zhang Ning Shang Fan Yang Dongyao Chen Mao Yang

要約

長文脈における推論は、大規模言語モデルにとって不可欠である。強化学習（RL）は、思考の連鎖（chain-of-thought）において「閃き（Aha）」の瞬間を誘発することで、短文脈における推論を向上させるが、長文脈推論に求められる高度な思考パターンは依然としてほとんど解明されておらず、高難易度のRLデータも極めて限られている。本論文では、高度な長文脈推論を実現するデータ駆動型の強化学習手法「LoongRL」を提案する。LoongRLの核となるのは、KeyChainと呼ばれる合成手法である。この手法は、UUID（一意識別子）の連鎖を、大量の誤情報を含む文書群の中に挿入することで、短い多段階QA（質問応答）を高難易度の長文脈タスクに変換する。これらのタスクを解くには、モデルが正しい推論経路を一歩一歩追跡し、真の質問を特定し、関連する事実を検索し、それらをもとに正しく推論する必要がある。KeyChainデータを用いたRL訓練により、モデルは「計画→検索→推論→再検証」という新たな推論パターンが顕在化し、訓練時における文脈長をはるかに超えて汎化する。16Kの文脈長で訓練されたモデルは、128Kの文脈長タスクを、全長にわたるRLロールアウトコストが著しく高くなることなく効果的に解くことができる。Qwen2.5-7Bおよび14Bモデルにおいて、LoongRLは長文脈多段階QAの精度をそれぞれ+23.5%および+21.1%の絶対値で大幅に向上させた。得られたLoongRL-14Bは74.2のスコアを達成し、はるかに大きな先端モデル（o3-mini: 74.5、DeepSeek-R1: 74.9）と並ぶ水準に到達した。また、長文脈検索性能の向上、128Kの「はりの山の中の針」（needle-in-a-haystack）ストレステスト全テストの合格、そして短文脈推論能力の維持も達成した。