Der CLVR Jaco Play Dataset ist ein Datensatz, der sich auf den Bereich der ferngesteuerten Robotik konzentriert. Es wurde 2023 von einem Forschungsteam der University of Southern California und KAIST veröffentlicht. Es bietet 1.085 Clips des ferngesteuerten Roboters Jaco 2 mit entsprechenden Sprachanmerkungen. Dieser Datensatz ist eine wertvolle Ressource für Wissenschaftler und Entwickler, die in Bereichen wie Roboterfernsteuerung, Verarbeitung natürlicher Sprache und Mensch-Computer-Interaktion arbeiten.

Der Datensatz wurde mit einer Frequenz von 10 Hz erfasst. Seine Struktur ist wie folgt:

• Die Beobachtungen sind in 5 Attribute unterteilt,
  • front_cam_ob : Beobachtungsergebnisse der Third-Person-Kamera
  • mount_cam_ob: Beobachten Sie von der installierten Kamera
  • ee_cartesian_pos_ob: Kartesische Position des Endeffektors. ee_cartesian_pos_ob[0:3] entspricht der Position und ee_cartesian_pos_ob[3:7] entspricht der Richtung im Viertelformat
  • ee_cartesian_vel_ob: Kartesische Geschwindigkeit des Endeffektors. ee_cartesian_pos_ob[0:3] entspricht der Positionsänderung, ee_cartesian_pos_ob[3:6] entspricht der Richtungsänderung im Roll-, Nick- und Gierformat
  • joint_pos_ob: Die Gelenkpositionen des Jaco-Arms (wir verwenden nur die letzten beiden Elemente, die den Greifgelenken entsprechen)
• Aktion: Die ersten 3 Elemente sind kartesische Inkremente und das 4. Element ist eine Bezeichnung von {0, 1, 2}, die {Greifer öffnen, Greifer nicht bewegen, Greifer schließen} darstellt.
• Terminal: Jede Fertigkeit hat am Ende 1
• Hinweis: Natürliche Sprachbeschreibung des Ziels
• vergeben: 1 am Ende jeder Fertigkeit