AgentNet은 홍콩대학교 XLANG 연구실이 Moonshot AI, 스탠퍼드 대학교 및 기타 기관들과 협력하여 2025년에 공개한 최초의 대규모 데스크톱 컴퓨터 기반 지능형 에이전트 궤적 데이터셋입니다. 관련 논문 결과는 다음과 같습니다.OPENCUA: 컴퓨터 사용 에이전트를 위한 개방형 기반"는 크로스 플랫폼 GUI 운영 에이전트와 VLA(비전-언어-액션) 모델을 지원하고 평가하는 것을 목표로 합니다.

이 데이터 세트에는 Windows, macOS, Ubuntu를 포함한 22.6K개의 수동 주석이 달린 컴퓨터 사용 작업 추적 데이터와 200개 이상의 애플리케이션 및 웹사이트 데이터가 포함되어 있습니다. 시나리오는 사무용, 전문용, 일상용, 시스템의 네 가지 범주로 분류됩니다. 데스크톱 자동화, 다중 애플리케이션 프로세스, 크로스 플랫폼 에이전트의 교육 및 평가에 적합합니다.

데이터 구조 및 필드

각 샘플에는 다음이 포함되어 있습니다.

• 작업 메타데이터: 작업 번호(task_id), 지침(instruction);
• 품질 평가: 완료성, 일관성, 효율성, 난이도
• 요약 설명: 자연어 작업, 실제 작업;
• 궤적 배열: traj (연대순으로 기록된 작업 단계).

궤적 단계(traj)구조:

• 각 단계에는 인덱스, 이미지(스크린샷), 값 개체가 포함됩니다.
  • 관찰(장면 관찰), 생각(사고/계획), 행동(자연어 행동), 코드(PyAutoGUI와 같은 실행 코드), last_step_correct, last_step_redundant, 그리고 반성.