Command Palette
Search for a command to run...
データセットのコンパイル｜AIエージェント評価データセット：マイクロソフト、北京大学、香港大学、上海交通大学などが公開した10個のデータセット。長距離メモリから実世界のタスク実行まで、あらゆる分野を網羅しています。
大規模モデル機能の継続的な拡張に伴い、AIエージェントは「対話ツール」から「タスク実行ツール」へと急速に進化しており、自動化されたオフィスワーク、コード生成、データ分析、複雑なプロセス処理などのシナリオで広く利用され始めています。従来の質問応答型大規模言語モデル（LLM）と比較して、エージェントの根本的な変化は次の点にあります。もはや単に質問に答えるだけでなく、タスクを細分化し、必要なツールを呼び出し、目標達成まで自律的に作業を進めることができる。
エージェントの能力が拡大するにつれて、トレーニングと評価に使用されるデータセットの重要性がますます高まります。従来の単発の質問応答や静的なタスクデータとは異なり、エージェント関連のデータセットは、長期計画、多段階推論、ツール使用、記憶といった「プロセス能力」を重視します。これらのデータは、モデルが現実世界の複雑なタスクで安定して動作できるかどうかを判断し、エージェントシステムの信頼性と上限に直接影響を与えます。
この記事では、関連する10個のデータセットをまとめています。これは、現在のエージェント研究におけるいくつかの主要な機能領域を網羅しています。具体的には、長期的文脈の理解と記憶の評価、複雑なタスク計画と多段階推論、ツールの呼び出しと対話型実行機能、そして現実環境またはシミュレーション環境におけるタスク完了機能です。これらのデータは、AIエージェントの能力を体系的に特徴づけるものとなる。
これらのデータセットの構成は、評価データとトレーニングデータ自体の変化も明らかにしています。静的な質問と回答の注釈から、相互作用プロセスと行動軌跡のモデリングへと移行し、データがモデルの「回答する」能力だけでなく、「何かを実行する」能力を裏付けていることを強調しています。
以下のデータセットは、HyperAIのウェブサイトでオンラインで利用可能です。これは、関連分野の研究者や開発者による研究と探究を加速させることを目的としている。
より高品質なデータセット：
データセットの推奨
1. RHELM長期記憶評価データセット
* オンラインで利用する：
RHELMは、2026年にマイクロソフトが公開した長期記憶評価データセットです。関連論文のタイトルは「静的対話を超えて：現実的で異質かつ進化する長期記憶のベンチマーク」です。このデータセットは、複雑な動的シナリオにおける大規模モデルの長期記憶、マルチホップ推論、および時間情報合成能力の向上を目指しています。大規模言語モデルの長期記憶評価、AIアシスタントの長期対話能力の検証、大規模モデルのマルチホップ推論、時間情報融合、幻覚検出などの研究シナリオで広く使用されています。
このデータセットには、10セットの仮想キャラクタープロファイル、1,305組の質問と回答のペア、629件のJSON形式の会話、625件のTXT形式のメールスレッド、および1,053件のMD形式とHTML形式の添付ファイルが含まれています。付随する質問は、添付ファイルの参照、複合的な推論、事実の発見、錯覚の検出、情報の集約、時系列分析、および誤解を招く質問という7つの主要なタイプを網羅しています。
2. MemLensマルチモーダル長コンテキストベンチマークデータセット
* オンラインで利用する：
MemLensは、視覚言語モデルにおける長距離対話記憶を評価するためのベンチマークデータセットです。このデータセットは、32K、64K、128K、256Kのコンテキストウィンドウ内で、複数会話対話に埋め込まれた視覚情報とテキスト情報を取得、想起、更新、推論するモデルの能力をテストします。データセットには、情報検索、知識更新、時間推論、複数会話推論、拒否（棄権）の5つの評価タイプを網羅する789項目が含まれており、4つのコンテキスト長構成（32K/64K/128K/256K）が提供されています。
このデータセットには、推論コストのバランスを取るためにメモリ拡張エージェントを評価することを目的とした、195の質問からなる固定層化サンプルサブセットも含まれています。
3. LongBlocks 長文コンテキスト多言語質問応答データセット
* オンラインで利用する：
LongBlocksは、リスボン大学、電気通信研究所、TransPerfectなどの機関によって2026年に公開された、長文コンテキストを持つ多言語合成データセットです。このデータセットには、書籍、ウェブページのテキスト、Wikipediaのエントリ、arXivの論文、プログラミングコード、コミュニティのQ&Aなど、長文ドキュメントコーパスを網羅した、約194,000件の長文コンテキストを持つ質疑応答例が含まれています。
4. AgentTroveインテリジェントエージェント相互作用軌跡データセット
* オンラインで利用する：
AgentTroveは、OpenThoughts-Agentチームが公開した、エージェント間のインタラクション軌跡を収録した大規模なオープンソースデータセットです。このデータセットには、コード修復、シェルスクリプト作成、数学的問題解決、プログラミングコンテスト、一般的なコンピューティング利用など、219のデータセットから収集された1,696,847行のデータが含まれています。すべての軌跡は、オープンソースのHarborエージェント評価・データ生成フレームワークを使用して収集され、Terminus-2ハーネス形式（ShareGPTに似た対話レイアウト）で統一的に公開されています。
5. Claw-Eval 実世界ベンチマークデータセット
* オンラインで利用する：
Claw-Evalは、北京大学と香港大学が2026年に公開した、実世界のタスクにおけるAIエージェントの評価を目的とした、エンドツーエンドで透過的な評価ベンチマークデータセットです。関連論文のタイトルは「Claw-Eval: Toward Trustworthy Evaluation of Autonomous Agents」です。このデータセットは、実世界の環境において、自律エージェントがタスクを実行し、ツールを呼び出し、マルチモーダルな情報を理解し、相互作用する能力を評価することを目的としています。エージェントシステムの評価、自動タスク実行、マルチモーダルエージェントの研究、大規模モデルの能力分析などに幅広く利用されています。
このデータセットは英語と中国語の両方をサポートしており、一般、マルチモーダル、マルチターンという3つの主要なタスクグループを含み、コミュニケーション、財務、オフィス、生産性ツールなど、合計24のタスクカテゴリを網羅しています。
6. OpenMementos コンテキストメモリ圧縮データセット
* オンラインで利用する：
OpenMementosは、Microsoftが2026年にリリースしたコンテキストメモリ圧縮データセットで、大規模モデルの長連鎖推論とコンテキスト管理機能をモデル化するために設計されています。このデータセットは、コンテキスト圧縮と連続推論を実行するモデルをトレーニングすることを目的としており、限られたコンテキストウィンドウ内で複雑な多段階推論タスクをサポートします。長連鎖推論モデリング、メモリ強化型モデルトレーニング、効率的な生成など、幅広い研究シナリオに適用可能です。
このデータセットはOpenThoughts推論データセットを基に構築されており、228,557の構造化推論トラックが含まれています。内訳は、数学トラックが123,333件、科学トラックが61,485件、プログラミングトラックが43,739件です。トラックあたりの平均文数は187です。
7. MIAマルチステップ推論および決定軌跡データセット
* オンラインで利用する：
MIA（Memory Intelligence Agent）は、2026年4月に華東師範大学、上海イノベーション研究所、ハルビン工業大学が共同で公開したデータセットです。長期記憶とタスク実行能力を備えたインテリジェントエージェントの訓練と評価に使用されます。関連する研究論文は「Memory Intelligence Agent」と題され、インテリジェントエージェントの長期記憶の利用と多段階意思決定能力の向上を目指しています。このデータセットには、問題解決、計画、探索、実行の全プロセスを網羅する約21,000件の推論軌跡データが含まれており、エージェントの推論と強化学習の研究に適しています。
8. ToolACE複合ツール学習対話データセット
* オンラインで利用する：
ToolACEは、ツール学習タスクのための自動エージェントパイプラインデータセットであり、2024年に上海交通大学が中国科学技術大学、ファーウェイ・ノアズアーク・ラボ、その他の機関と共同で公開しました。関連論文のタイトルは「ToolACE: Winning the Points of LLM Function Calling」です。このデータセットは、特にツール学習におけるデータ品質の不足やシナリオの制限といった現実世界の課題に対処するため、正確で複雑かつ多様なツール学習データを生成することを目的としています。
このデータセットには、合計26,507種類の多様なAPIを呼び出す、複数ステップの会話例が含まれています。サンプルはマルチエージェントのインタラクションを通じて生成され、ルールチェックとモデル検証という2層の品質保証プロセスを経ています。各対話は、複数ステップ、複数ソースの情報検索および分析タスクを表しており、ツール呼び出しシナリオを現実的にシミュレートし、LLM（低レベルモデリング）のための高価値なトレーニングデータを提供します。
9. クリエイティブ専門家向けクリエイティブタスク指示データセット
* オンラインで利用する：
Creative Professionals Agentic Tasksは、マルチモーダルAIエージェントのトレーニング、評価、および微調整のために設計された、大規模かつ高精度な合成タスクデータセットです。36種類のクリエイティブ、テクニカル、エンジニアリングソフトウェア環境を網羅する、1,070,917件のエージェントコマンド操作が含まれています。このデータセットは、複雑なソフトウェアインタラクションと多段階推論の探求を目的としています。
10. AgentNetデスクトップ操作タスクデータセット
* オンラインで利用する：
AgentNetは、香港大学のXLANG LabがMoonshot AI、スタンフォード大学、その他の機関と共同で2025年に公開した、初の本格的なデスクトップコンピュータエージェントの軌跡データセットです。関連論文のタイトルは「OPENCUA：コンピュータ利用エージェントのためのオープンな基盤」です。この論文は、クロスプラットフォームのGUI操作エージェントと、視覚・言語・行動（VLA）モデルのサポートと評価を目的としています。
このデータセットには、Windows、macOS、Ubuntu、そして200以上のアプリケーションとウェブサイトを対象とした、手動で注釈が付けられた22,600件のコンピュータ使用タスクトレースが含まれています。シナリオは、オフィス、プロフェッショナル、日常、システムの4つのカテゴリに分類されています。デスクトップオートメーション、マルチアプリケーションプロセス、クロスプラットフォームエージェントのトレーニングと評価に適しています。
これらは、本号で推奨されているすべてのデータセットです。ワンクリックでダウンロードしてご利用いただけます！
