WGO-Bench는 Macrodata Labs에서 공개한 로봇 비디오 벤치마크 데이터셋입니다. 이 데이터셋은 시각 언어 모델이 로봇 및 1인칭 시점 액션 비디오를 타임스탬프가 포함된 하위 작업 주석으로 변환하는 능력을 평가하는 것을 목표로 합니다. 주요 작업은 경계 감지와 하위 작업 주석입니다. 주석 레이블은 비디오 클립에서 보이는 모든 동작 이벤트와 상태 변화를 기술하는 데 중점을 둡니다.

데이터 세트 구성:

• 이 패키지에는 100개의 비디오 에피소드가 포함되어 있으며, 743개의 핵심 하위 작업과 63개의 독립적인 작업 지침이 담겨 있습니다.
• 데이터 소스는 HomeR 1인칭 시점 영상(25개), RoboInter DROID 로봇 팔 영상(50개), RoboCOIN Galaxea R1 Lite 헤드 마운트 카메라 영상(25개)의 세 가지 범주로 나뉩니다.
• 데이터는 Parquet 형식으로 저장되며, 비디오 파일(MP4 바이트)이 각 데이터 라인에 직접 포함되어 있습니다.

데이터 필드:

• id: 비디오 클립을 식별하는 안정적이고 고유한 식별자입니다.
• 비디오: MP4 형식의 비디오 바이너리 데이터가 직접 내장되어 있습니다.
• 지침: 이 부분에 해당하는 상위 수준 작업 지침
• segments: 정답으로 표시된 세그먼트 목록이며, 각 요소에는 start_sec(시작 시간), end_sec(종료 시간) 및 subtask(하위 작업 설명)가 포함됩니다.
• 메타데이터: 소스별 추가 정보(JSON 형식)