WGO-Bench est un jeu de données de référence pour les vidéos de robots, publié par Macrodata Labs. Il vise à évaluer la capacité des modèles de langage visuel à convertir des vidéos d'action de robots et des vidéos filmées à la première personne en annotations de sous-tâches horodatées. Ce jeu de données se concentre principalement sur deux tâches : la détection des contours et l'annotation des sous-tâches. Les étiquettes d'annotation décrivent en détail les événements d'action et les changements d'état visibles dans les clips vidéo.

Composition de l'ensemble de données:

• Il contient 100 épisodes vidéo, comprenant 743 sous-tâches clés et 63 instructions de tâches uniques.
• Les sources de données sont divisées en trois catégories : vidéos à la première personne HomER (25 vidéos), vidéos de bras robotique RoboInter DROID (50 vidéos) et vidéos de caméra frontale RoboCOIN Galaxea R1 Lite (25 vidéos).
• Les données sont stockées au format Parquet, avec des fichiers vidéo (octets MP4) directement intégrés dans chaque ligne de données.

Champs de données:

• id : Un identifiant stable et unique pour un clip vidéo.
• vidéo : données binaires vidéo au format MP4 directement intégrées
• instruction : L'instruction de tâche de haut niveau correspondant à ce segment
• segments : Une liste de segments étiquetés en or, chaque élément contenant start_sec (heure de début), end_sec (heure de fin) et subtask (description de la sous-tâche).
• Métadonnées : Informations complémentaires spécifiques à la source au format JSON