大規模言語モデルにおける完全性志向のツール検索へ向けて

近年、大規模言語モデル（LLM）の事前学習データに内在する制約を緩和する有効な戦略として、外部ツールとの統合が注目を集めている。しかし、実世界のシステムでは多様なツールが多数組み込まれており、長さ制限や遅延制約のため、すべてのツールをLLMに一度に入力することは現実的ではない。したがって、ツール拡張型LLMの潜在能力を最大限に引き出すためには、効果的なツール検索システムの開発が不可欠である。既存のツール検索手法は、ユーザーのクエリとツール説明文の意味的類似性に主に焦点を当てており、しばしば重複した類似ツールが検索されてしまう。その結果、LLMが直面する多面的な問題に対処する上で必要とされる多様性に富んだツールの完全なセットを提供できていない。本論文では、ユーザークエリとツール説明文間の意味的類似性に加え、ツール間の協調的関係も捉えることができる、モデル非依存の協調学習ベースのツール検索手法「COLT（COllaborative Learning-based Tool Retrieval）」を提案する。具体的には、まず意味学習段階でPLMベースの検索モデルを微調整し、クエリとツール間の意味的関係を捉える。その後、クエリ、シナリオ、ツールの間に3つの二部グラフを構築し、協調学習段階で双視点グラフ協調学習フレームワークを導入することで、ツール間の複雑な協調関係を効果的に抽出する。公開ベンチマークおよび新しく導入されたToolLensデータセットを用いた広範な実験の結果、COLTは優れた性能を達成した。特に、本研究で提案するモデルフレームワークを用いたBERT-mini（11Mパラメータ）の性能は、パラメータ数が30倍多いBERT-large（340Mパラメータ）を上回った。さらに、今後のツール検索に関する研究を促進するため、ToolLensデータセットを公開する予定である。