Ziyi Xia Kun Luo Hongjin Qian Zheng Liu

要約

大規模言語モデル（LLMs）は、単なる事実照会を越えて、複数のサブ問題に問いを分解し、複数ステップの推論を調整し、多様な情報源からの証拠を統合する必要のある「深層研究（Deep Research）」タスクに対応することが期待されている。本研究では、検証可能な回答を持つ深層研究タスクを、単一制約・多ホップ・フラットな制約充足問題（CSP）とは本質的に異なる、階層的制約充足問題（Hierarchical Constraint Satisfaction Problems; HCSP）として形式化する。しかし、従来のベンチマーク（例：Natural Questions、HotpotQA）はこの複雑性を十分に捉えておらず、近年の合成データセットはしばしば短絡的な推論や知識漏洩を引き起こすか、構造的な深さが不足している。このギャップを埋めるために、我々は複雑な深層研究タスクをスケーラブルに合成可能なフレームワーク「InfoSeek」を提案する。InfoSeekは、大規模なウェブページから双エージェントシステムを用いて再帰的に「研究木（Research Tree）」を構築し、中間ノードを有効なサブ問題としてぼかすことで、階層全体をたどる必要のある自然言語形式の質問に変換する。また、迅速なスケーリングを実現し、5万件を超える訓練例、厳選されたテストセット、および拒否サンプリングを用いた推論経路の生成を可能にする。実験の結果、InfoSeekで訓練されたモデルは、強力なベースラインを一貫して上回ることが確認された。特に、難易度の高いベンチマーク「BrowseComp-Plus」において、3B規模のLLMがInfoSeekで最適化された結果は、はるかに大きな32Bモデルや軽量な商用API（例：Gemini2.5-Flash）を上回り、より強力なAPI（例：Gemini2.5-Pro）と同等の性能を達成した。さらに、中間ステップや検索ラベルなどのメタ情報を保持することで、複合報酬設計や経路レベルの探索といった高度な最適化戦略の実現も可能となる。本研究で開発したコードおよびデータセットは、\href{https://github.com/VectorSpaceLab/InfoSeek}{このリポジトリ}にて公開している。