CLVR Jaco Play Dataset 遥控机器人片段数据集

CLVR Jaco Play Dataset 是一个专注于遥控机器人领域的数据集，由南加州大学和 KAIST 的研究团队于 2023 年发布，它提供了 1,085 个遥控机器人 Jaco 2 的片段，并配有相应的语言注释。这个数据集对于研究机器人遥控、自然语言处理以及人机交互等领域的科学家和开发者来说，是一个非常宝贵的资源。

数据集以 10Hz 的频率收集。其结构如下：

• 观察结果分为 5 个属性，
  • front_cam_ob : 第三人称摄像机的观察结果
  • mount_cam_ob：从安装的相机进行观察
  • ee_cartesian_pos_ob：末端执行器笛卡尔位置。 ee_cartesian_pos_ob[0:3] 对应于位置，ee_cartesian_pos_ob[3:7] 对应于四分之一格式的方向
  • ee_cartesian_vel_ob：末端执行器笛卡尔速度。 ee_cartesian_pos_ob[0:3] 对应于位置变化，ee_cartesian_pos_ob[3:6] 对应于滚动、俯仰偏航格式的方向变化
  • joint_pos_ob：Jaco 臂的关节位置（我们仅使用与夹持器关节相对应的最后 2 个元素）
• 动作：前 3 个元素是笛卡尔增量，第 4 个元素是来自 {0, 1, 2} 的标签，表示 {打开夹持器、不移动夹持器、关闭夹持器}
• 终端：每个技能末尾有 1 个
• 提示：目标的自然语言描述
• 奖励：每项技能结束时 1 个