الملخص

يُعد جمع بيانات الروبوتات الواقعية على نطاق واسع، اللازم لتدريب نماذج الرؤية واللغة والعمل (VLA) الخاصة بالروبوتات الشاملة، مكلّفًا وطويل الأمد. ويتسبب عدم كفاءة جمع البيانات الفيزيائية في تقييد حجم التوسع وقدرة التعميم لدى الأنظمة الحالية لـ VLA بشكل كبير. ولحل هذه التحديات، نقدّم نموذج GigaBrain-0، وهو نموذج أساسي جديد لـ VLA مدعوم ببيانات تم إنشاؤها بواسطة نماذج العالم (مثل توليد الفيديو، ونقل الواقع إلى واقع، ونقل الإنسان، ونقل الرؤية، وبيانات نقل المحاكاة إلى الواقع). وباستخدام نماذج العالم لتوليد بيانات متنوعة بكميات ضخمة، يقلل نموذج GigaBrain-0 بشكل كبير من الاعتماد على البيانات الحقيقية من الروبوتات، في الوقت الذي يُحسّن فيه القدرة على التعميم عبر المهام المختلفة. كما يُحسّن نهجنا مرونة السياسة (policy) من خلال نمذجة مدخلات RGBD وتطبيق إشراف سلسلة التفكير المُتَمَثَّل (embodied Chain-of-Thought أو CoT)، ما يمكّن النموذج من التفكير في الهندسة المكانية وحالات الأشياء والاعتماديات الطويلة المدى أثناء تنفيذ المهام. وينتج عن ذلك تحسينات كبيرة في الأداء في العالم الحقيقي، خصوصًا في المهام المعقدة، والطويلة المدى، ومهام التلاعب المتنقل. وتوصلت التجارب الواسعة إلى أن GigaBrain-0 يحقق تعميمًا متفوّقًا أمام التغيرات في المظهر (مثل النسيج والألوان)، ومكانة الأشياء، ووجهات نظر الكاميرات. علاوةً على ذلك، نقدّم GigaBrain-0-Small، وهو نسخة مُحسَّنة وخفيفة الوزن مصممة لتشغيلها بكفاءة على أجهزة مثل NVIDIA Jetson AGX Orin.