مجموعة بيانات CLVR Jaco Play، مجموعة بيانات روبوت التحكم عن بعد

مجموعة بيانات CLVR Jaco Play هي مجموعة بيانات تركز على مجال الروبوتات التي يتم التحكم فيها عن بعد. تم إصداره في عام 2023 من قبل فريق بحثي من جامعة جنوب كاليفورنيا وKAIST. ويقدم 1085 مقطع فيديو للروبوت الذي يتم التحكم فيه عن بعد جاكو 2 مع التعليقات اللغوية المقابلة. تُعد مجموعة البيانات هذه موردًا قيمًا للعلماء والمطورين العاملين في مجالات مثل التحكم عن بعد في الروبوتات، ومعالجة اللغة الطبيعية، والتفاعل بين الإنسان والحاسوب.

تم جمع مجموعة البيانات بتردد 10 هرتز. هيكلها هو على النحو التالي:

• وتنقسم الملاحظات إلى 5 سمات،
  • كاميرا أمامية :نتائج المراقبة من كاميرا الشخص الثالث
  • جبل_كاميرا_أوب:راقب من الكاميرا المثبتة
  • ee_cartesian_pos_ob:الموضع الديكارتي للمنفذ النهائي. ee_cartesian_pos_ob[0:3] يتوافق مع الموضع وee_cartesian_pos_ob[3:7] يتوافق مع الاتجاه في تنسيق الربع
  • ee_cartesian_vel_ob:السرعة الديكارتية للمحرك النهائي. ee_cartesian_pos_ob[0:3] يتوافق مع تغيير الموضع، ee_cartesian_pos_ob[3:6] يتوافق مع تغيير الاتجاه في تنسيق التدحرج والانحدار والانحراف
  • نقطة_الوصل_المفصلية:مواضع المفاصل لذراع جاكو (نستخدم فقط العنصرين الأخيرين المتوافقين مع مفاصل الإمساك)
• فعل:العناصر الثلاثة الأولى هي زيادات ديكارتية، والعنصر الرابع هو تسمية من {0، 1، 2}، تمثل {مقبض مفتوح، مقبض لا يتحرك، مقبض مغلق}
• صالة:كل مهارة لها 1 في النهاية
• تَلمِيح:وصف اللغة الطبيعية للهدف
• جائزة: 1 في نهاية كل مهارة