PhysicalAI-Robotics-Manipulation-Kitchen-Demos هي مجموعة بيانات ضخمة لعروض العمليات الروبوتية، أصدرتها NVIDIA في عام 2026. تتضمن المجموعة حوالي 600 ساعة من عروض التحكم البشري عن بعد، وتغطي 316 مهمة مختلفة، بإجمالي حوالي 55,000 مسار. تم جمع هذه البيانات باستخدام روبوت Franka Panda مزود بقاعدة متحركة من Omron، وتهدف إلى توفير بيانات تشغيل عالية الجودة من سيناريوهات واقعية لأبحاث تعلم الآلة والذكاء المجسد، مما يدعم التعلم والتدريب من المهام الأساسية إلى المهام المعقدة متعددة الخطوات.

تكوين مجموعة البيانات

تتبع بنية مجموعة البيانات معيار LeRobot، وتتضمن بشكل رئيسي الأجزاء التالية:

ملفات البيانات الرئيسية (meta/data/videos):

• info.json: معلومات مجموعة البيانات، بما في ذلك نوع الروبوت، وعدد الحلقات، وعدد الإطارات، ومعدل الإطارات، والميزات.
• tasks.jsonl: تعليمات لغوية تتضمن فهارس المهام.
• episodes.jsonl: بيانات وصفية لكل حلقة، تتضمن الفهرس، والتعليمات، والطول.
• episodes_stats.jsonl: إحصائيات الإجراء والإدراك الجسدي لكل حلقة.
• stats.json: إحصائيات مجمعة لجميع الحلقات.
• modality.json: المعلومات المضمنة في متجهات المراقبة ومتجهات الإجراء.
• embodiment.json: معلومات التجسيد.

بيانات المسارات (data):

• تتضمن بيانات المسارات منخفضة الأبعاد، المخزنة بصيغة ملف parquet.
• يحتوي كل مقطع (chunk) على عدة ملفات حلقة، تسجل الإدراك الجسدي، والإجراءات، وحالة الاكتمال، والطوابع الزمنية.

بيانات الفيديو (videos):

• تتضمن ملفات فيديو بصيغة MP4 لكل منظور كاميرا.
• تشمل ثلاث زوايا رؤية: الكاميرا الخارجية اليسرى، والكاميرا الخارجية اليمنى، وكاميرا العين في اليد.

بيانات إضافية (extras):

• بيانات وصفية خاصة بـ MuJoCo، تتضمن معاملات البيئة وإعدادات وحدة التحكم.
• بيانات وصفية إضافية لكل حلقة، تتضمن تخطيط المطبخ، والأسلوب، والتجهيزات الثابتة، ومعلومات الكائنات.
• ملفات XML لنماذج MuJoCo بصيغة MJCF مضغوطة، وملفات حالة MuJoCo الأصلية (تُستخدم لإعادة التشغيل، وليس للتدريب).