CLVR Jaco Play データセットは、南カリフォルニア大学と KAIST の研究チームによって 2023 年にリリースされた、遠隔制御ロボット Jaco 2 の 1,085 個のクリップと、対応する言語を提供します。注釈。このデータセットは、ロボットの遠隔制御、自然言語処理、人間とコンピューターの相互作用などの分野を研究する科学者や開発者にとって非常に貴重なリソースです。

データセットは 10Hz の周波数で収集されます。その構造は次のとおりです。

• 観測値は5つの属性に分かれており、
  • フロントカメラ_ob : 三人称カメラによる観察
  • マウントカム_ob：設置されたカメラからの観察
  • ee_cartesian_pos_ob: エンドエフェクタのデカルト位置。 ee_cartesian_pos_ob[0:3] は位置に対応し、ee_cartesian_pos_ob[3:7] は 4 分の 1 形式の方向に対応します。
  • ee_cartesian_vel_ob: エンドエフェクタのデカルト速度。 ee_cartesian_pos_ob[0:3] は位置の変化に対応し、ee_cartesian_pos_ob[3:6] はロール、ピッチ、ヨー形式の方向の変化に対応します
  • Joint_pos_ob: Jaco の腕のジョイント位置 (グリッパー ジョイントに対応する最後の 2 つの要素のみを使用します)
• アクション: 最初の 3 要素はデカルト増分で、4 番目の要素は {0, 1, 2} のラベルです。これは、{グリッパーを開く、グリッパーを移動しない、グリッパーを閉じる} を意味します。
• ターミナル：各スキルの最後に1つあります
• ヒント: ターゲットの自然言語記述
• 賞：各スキル終了時に1個