تم إصدار مجموعة بيانات Arena-GR1-Manipulation-PlaceItemCloseDoor-Task متعددة الوسائط من قبل شركة Nvidia في عام 2025، وهي مصممة خصيصاً لمهام التشغيل الخاصة بالروبوتات البشرية الشكل، بهدف دعم تدريب وتقييم استراتيجيات الروبوتات العامة.

تحتوي هذه المجموعة على 100 مسار تم إنشاؤها ضمن بيئة Isaac Lab، وتشمل معلومات متعددة الوسائط مثل الحالة والرؤية واللغة والإجراءات، مما يجعلها مناسبة لدراسات الاستنساخ السلوكي، وتعلم السياسات، ونقل المحاكاة إلى الواقع. يبلغ حجم البيانات حوالي 9.44 غيغابايت، وقد تم توليدها تلقائياً بواسطة Nvidia باستخدام إطار عمل MimicGen، مع تضمين عدد قليل من العروض التجريبية عن بعد التي أجراها البشر كمرجع.

تكوين مجموعة البيانات

تشمل هذه المجموعة بشكل رئيسي المجموعات الفرعية التالية:

• عروض تجريبية عن بُعد يدوية: 10 عروض تجريبية، مخزنة في ملفات HDF5 ([OBJECT]_into_fridge_recorded.hdf5).
• عروض تجريبية مُعلَّمة يدوياً: 10 عروض تجريبية، مخزنة في ملفات HDF5 ([OBJECT]_into_fridge_annotated.hdf5).
• عروض تجريبية مولدة بواسطة MimicGen: 100 عرض تجريبي، مخزّنة في ملف HDF5 ([OBJECT]_into_fridg_generated_100.hdf5).
• تنسيق GR00T-Lerobot: مشتق من تحويل الملفات الصادرة بتنسيق HDF5 المولّد عبر MimicGen، ويتوافق مع معايير GR00T-Lerobot.

حقول البيانات

كل عرض تجريبي يتكون من تسلسل مؤرشف زمنياً، ويشمل الوسائط التالية:

• الإجراءات (Actions): action (FP64)، تحتوي على المواقع المرغوبة لجميع مفاصل الجسم (36 درجة حرية).

• المشاهدات (Observations): observation.state (FP64)، تتضمن مواقع جميع مفاصل الجسم (54 درجة حرية).

• المعلومات المحددة للمهمة (Task-specific):

  • timestamp (FP64): وقت المحاكاة (بالثواني).
  • annotation.human.action.task_description (INT64): فهرس التعليمات اللغوية.
  • annotation.human.action.valid (INT64): فهرص صلاحية التعليق التوضيحي.
  • episode_index (INT64): فهرس ترتيب العرض التجريبي.
  • task_index (INT64): فهرس محمّل المهام المتعددة (دائماً يساوي صفرًا).

• الفيديو (Videos): مقاطع فيديو بصيغة MP4 ملونة (RGB) بدقة 512 × 512 بكسل، مأخوذة من كاميرا منظور الشخص الأول.

• episodes.jsonl: يحتوي على قائمة بجميع الحلقات وطول المهمة لكل منها.

• tasks.jsonl: يحتوي على القائمة الكاملة بالمهام.

• modality.json: إعدادات الوسائط.

• info.json: معلومات حول مجموعة البيانات.

• stats.json: إحصاءات مجموعة البيانات.

• relative_stats.json: الإحصاءات النسبية.

الاقتباس المرجعي

@inproceedings{mandlekar2023mimicgen,
    title={MimicGen: A Data Generation System for Scalable Robot Learning using Human Demonstrations},
    author={Mandlekar, Ajay and Nasiriany, Soroush and Wen, Bowen and Akinola, Iretiayo and Narang, Yashraj and Fan, Linxi and Zhu, Yuke and Fox, Dieter},
    booktitle={7th Annual Conference on Robot Learning},
    year={2023}
    }