L'ensemble de données CLVR Jaco Play est un ensemble de données axé sur le domaine de la robotique télécommandée. Il a été publié en 2023 par une équipe de recherche de l'Université de Californie du Sud et du KAIST. Il fournit 1 085 clips du robot télécommandé Jaco 2 avec les annotations linguistiques correspondantes. Cet ensemble de données est une ressource précieuse pour les scientifiques et les développeurs travaillant dans des domaines tels que la télécommande robotique, le traitement du langage naturel et l'interaction homme-machine.

L'ensemble de données a été collecté à une fréquence de 10 Hz. Sa structure est la suivante :

• Les observations sont divisées en 5 attributs,
  • caméra_avant_ob :Résultats d'observation de la caméra à la troisième personne
  • monture_cam_ob: Observez depuis la caméra installée
  • ee_cartesian_pos_ob: Position cartésienne de l'effecteur terminal. ee_cartesian_pos_ob[0:3] correspond à la position et ee_cartesian_pos_ob[3:7] correspond à la direction au format quart
  • ee_cartesian_vel_ob:Vitesse cartésienne de l'effecteur terminal. ee_cartesian_pos_ob[0:3] correspond au changement de position, ee_cartesian_pos_ob[3:6] correspond au changement de direction au format roulis, tangage et lacet
  • joint_pos_ob: Les positions des articulations du bras Jaco (nous n'utilisons que les 2 derniers éléments correspondant aux articulations des pinces)
• action:Les 3 premiers éléments sont des incréments cartésiens, et le 4ème élément est une étiquette de {0, 1, 2}, représentant {ouvrir la pince, ne pas déplacer la pince, fermer la pince}
• Terminal: Chaque compétence a 1 à la fin
• indice: Description en langage naturel de la cible
• prix: 1 à la fin de chaque compétence