要約

深層的な研究エージェントは、文献の統合、手法設計、実証的検証に至る多段階の研究ワークフローを統合的に実行する可能性から、注目を集めている。しかし、研究者たちの関心や知的好奇心を真正に反映する最先端の研究課題を収集することが困難であるため、こうしたエージェントの研究能力を的確に評価することは依然として大きな課題である。この課題を解決するため、本研究では、学術セミナーを基盤としたベンチマーク「DeepResearch Arena」を提案する。このセミナーは、専門家間の豊かな議論と相互作用を捉え、現実の研究環境をより正確に反映する一方で、データ漏洩のリスクを低減する。DeepResearch Arenaの自動構築のために、我々は「マルチエージェント階層的タスク生成（MAHTG）システム」を提案する。このシステムは、セミナーの議事録から研究に価値のあるインスピレーションを抽出し、さらにそれらを高品質な研究課題に変換することで、研究課題の策定プロセスの追跡可能性を確保しつつ、ノイズを効果的に除去する。MAHTGシステムを活用して、12の学問分野（文学、歴史、科学など）にわたり、200以上の学術セミナーから1万件を超える高品質な研究課題を収集・構築した。広範な評価結果から、DeepResearch Arenaは現在の最先端エージェントにとって顕著な課題を提示しており、さまざまなモデル間で明確な性能差が確認された。