要約

大規模な推論モデルは、強力な問題解決能力を示しているものの、実世界のタスクでは外部ツールの利用や長時間スパンのインタラクションがしばしば求められる。従来のエージェントフレームワークは通常、事前に定義されたワークフローに従うため、自律的かつ全体的なタスク達成に限界がある。本論文では、一貫した推論プロセス内で自律的な思考、ツール発見、行動実行を統合的に実行するエンドツーエンド型の深層推論エージェント「DeepAgent」を提案する。長時間スパンのインタラクションに伴う課題、特に複数のツール呼び出しによるコンテキスト長の爆発およびインタラクション履歴の蓄積に対処するため、過去のインタラクションを構造化されたエピソード記憶、作業記憶、ツール記憶に圧縮する自律的メモリ折り畳み機構を導入し、誤差の蓄積を低減しつつ重要な情報を保持する。汎用的なツール利用を効率的かつ安定的に学習するため、LLMでシミュレートされたAPIを活用し、ツール呼び出しのアドバンテージ割り当てを適用することで、ツール呼び出しトークンに対して細粒度な報酬割り当てを行うエンドツーエンド型強化学習戦略「ToolPO」を構築した。一般ツール利用タスク（ToolBench、API-Bank、TMDB、Spotify、ToolHop）および下流アプリケーション（ALFWorld、WebShop、GAIA、HLE）を含む8つのベンチマークにおける広範な実験により、DeepAgentは、ツールのラベル付き検索とオープンセットのツール検索の両方のシナリオにおいて、ベースラインを一貫して上回ることが示された。本研究は、実世界応用に向けたより汎用的かつ高機能なエージェントの実現に一歩前進するものである。コードとデモは、https://github.com/RUC-NLPIR/DeepAgent で公開されている。