Ziting Wang Shize Zhang Haitao Yuan Jinwei Zhu et al

要約

データドリブンな意思決定への需要が高まる中、構造化データと非構造化データを統合して分析できるデータエージェントの開発が急務となっている。データエージェントは、ユーザーが複雑な分析タスクを実行できる可能性を秘めているものの、この分野は以下の三つの重要な課題に直面している。第一に、複数のデータソースにおける分析タスクを網羅的に評価できるテストケースの設計が困難なため、包括的なデータエージェントベンチマークが存在しない。第二に、構造化データと非構造化データを組み合わせた信頼性の高いテストケースを構築することは、費用がかかり、かつ極めて複雑である。第三に、既存のベンチマークは適応性と汎用性に乏しく、評価範囲が限定的である。これらの課題に対処するため、本研究では、複数のデータソースにおける分析シナリオを想定したデータエージェントの評価に特化した、世界初のベンチマーク「FDABench」を提案する。本研究の主な貢献は以下の通りである：(i) 異なるデータソース、ドメイン、難易度、タスクタイプにわたる2,007件の多様なタスクを含む標準化されたベンチマークを構築し、データエージェントの性能を包括的に評価可能とした；(ii) 異種データ環境においても信頼性と効率性を確保するエージェント・エキスパート協働フレームワークを設計し、ベンチマークの構築を実現した；(iii) 多様なターゲットシステムやフレームワークにおいても堅牢な汎用性を備えるようにFDABenchを設計した。本研究ではFDABenchを用いてさまざまなデータエージェントシステムを評価した結果、各システムは応答品質、正確性、待機時間、トークンコストの観点で、それぞれ異なる強みと限界を示したことが明らかになった。