HierSearch:ローカル検索とWeb検索を統合した階層型エンタープライズディープサーチフレームワーク

近年、大規模な推論モデルは強力な数学的・プログラミング能力を示しており、ディープサーチ(deep search)はこれらのモデルの推論能力を活用して、困難な情報検索タスクに取り組んでいる。既存のディープサーチ手法は一般的に、ローカルまたはWebといった単一の知識源に限定されている。しかし、企業のニーズとして、ローカルとWebの両方のコーパス上で検索ツールを活用できるプライベートなディープサーチシステムの構築が求められている。複数の検索ツールを搭載したエージェントをフラットな強化学習(RL)で単純に訓練するというアプローチは直感的ではあるが、訓練データの効率が低く、複雑なツールの習得が不十分という課題を抱えている。この問題に対処するため、本研究では階層的強化学習(hierarchical RL)を用いて訓練される階層型エージェント型ディープサーチフレームワーク、HierSearchを提案する。低レベルでは、それぞれのドメイン(ローカル・Web)から証拠を取得するための「ローカルディープサーチエージェント」と「Webディープサーチエージェント」を訓練する。高レベルでは、プランナーエージェントが低レベルエージェントを統合的に制御し、最終的な回答を提供する。さらに、直接的な回答のコピーや誤りの伝搬を防ぐため、低レベルエージェントが返す幻覚(hallucination)や関係のない証拠をフィルタリングする「知識リファインャー(knowledge refiner)」を設計した。実験の結果、HierSearchはフラットなRLベースの手法に比べて優れた性能を発揮し、一般、金融、医療の各分野をカバーする6つのベンチマークにおいて、さまざまなディープサーチおよびマルチソース検索拡張生成(retrieval-augmented generation)のベースラインを上回ることが確認された。