17日前

効率的なエージェント:コストを削減しながら効果的なエージェントを構築する

Ningning Wang, Xavier Hu, Pai Liu, He Zhu, Yue Hou, Heyuan Huang, Shengyu Zhang, Jian Yang, Jiaheng Liu, Ge Zhang, Changwang Zhang, Jun Wang, Yuchen Eleanor Jiang, Wangchunshu Zhou
効率的なエージェント:コストを削減しながら効果的なエージェントを構築する
要約

大規模言語モデル(LLM)駆動型エージェントの顕著な能力により、複雑な多段階タスクを処理する高度なシステムの実現が可能となった。しかし、その運用コストの急激な増加は、スケーラビリティおよびアクセス可能性に深刻な脅威をもたらしている。本研究では、現代のエージェントシステムにおける効率性と有効性のトレードオフに関する、初めての体系的な調査を報告する。性能を損なうことなく、コスト効率の高い設計を実現するという重要な課題に応えるものである。本研究では以下の3つの核心的な問いに取り組む:(1)エージェントタスクは本質的にどの程度の複雑性を要するのか?(2)追加のモジュールが効果の逓減を示すのはいつか?(3)効率的なエージェントフレームワークの設計によって、どれほどの効率向上が可能か?GAIAベンチマークを用いた実証分析を通じて、LLMバックボーンの選定、エージェントフレームワーク設計、テスト時スケーリング戦略の影響を評価した。コスト・オブ・パス(cost-of-pass)という指標を用いて、これらの要因における効率性と性能のトレードオフを定量的に測定した。その結果、タスク要件に対して最適な複雑性を有する新たなエージェントフレームワーク「Efficient Agents」の開発に寄与した。Efficient Agentsは、先進的なオープンソースエージェントフレームワーク「OWL」の96.7%の性能を維持しつつ、運用コストを0.398ドルから0.228ドルへと削減し、コスト・オブ・パスにおいて28.4%の改善を達成した。本研究は、効率的かつ高性能なエージェントシステムを設計するための実用的な知見を提供し、AI駆動型ソリューションの普及性と持続可能性の向上に貢献する。