AgentNetは、香港大学のXLANG研究所がMoonshot AI、スタンフォード大学などの機関と共同で2025年に公開した、デスクトップコンピュータベースの初の大規模インテリジェントエージェント軌跡データセットです。関連論文の結果は「OPENCUA: コンピュータ利用エージェントのためのオープン基盤クロスプラットフォームの GUI 操作エージェントとビジョン言語アクション (VLA) モデルのサポートと評価を目的としています。

このデータセットには、Windows、macOS、Ubuntu、そして200以上のアプリケーションとウェブサイトを対象とした、手動で注釈が付けられた22,600件のコンピュータ使用タスクトレースが含まれています。シナリオは、オフィス、プロフェッショナル、日常、システムの4つのカテゴリに分類されています。デスクトップオートメーション、マルチアプリケーションプロセス、クロスプラットフォームエージェントのトレーニングと評価に適しています。

データ構造とフィールド

各サンプルには以下が含まれます。

• タスクメタデータ: タスク番号 (task_id)、指示 (instruction)。
• 品質評価: 完了度、一貫性、効率性、難易度。
• 概要説明: natural_language_task、actual_task;
• 軌跡配列: traj (時系列順に記録された操作手順)。

軌道ステップ（traj）構造：

• 各ステップには、インデックス、画像 (スクリーンショット)、および値のオブジェクトが含まれます。
  • 観察（シーン観察）、思考（思考/計画）、アクション（自然言語アクション）、コード（PyAutoGUI などの実行可能コード）、last_step_correct、last_step_redundant、およびリフレクション。