نوفلو: التلاعب من الصفر من خلال التدفق القابل للتنفيذ من الفيديوهات المولدة
Hongyu Li Lingfeng Sun Yafei Hu Duy Ta Jennifer Barry George Konidaris Jiahui Fu

الملخص
تمكين الروبوتات من أداء مهام تلاعب جديدة دون تدريب مسبق (zero-shot) يُعد هدفًا رئيسيًا في مجال الروبوتات. تعتمد معظم الطرق الحالية على افتراض أن المهام تقع ضمن توزيع البيانات المدربة عليها، أو تعتمد على التدريب الدقيق (fine-tuning) باستخدام بيانات متوافقة مع الهيكل المادي (embodiment)، مما يحد من قدرة الانتقال بين المنصات المختلفة. نقدّم "نوفا فلو" (NovaFlow)، وهي إطار عمل تلاعب تلقائي يحوّل وصف المهمة إلى خطة قابلة للتنفيذ لروبوت مستهدف، دون الحاجة إلى أي أمثلة تدريبية. عند تلقي وصف مهمة، يقوم NovaFlow بتحصيل فيديو باستخدام نموذج توليد فيديو، ثم يُستخلص هذا الفيديو إلى "تدفق كائنات قابلة للتنفيذ ثلاثية الأبعاد" باستخدام وحدات استشعار جاهزة (off-the-shelf perception modules). ومن هذا التدفق، يحسب NovaFlow الوضع النسبي للكائنات الصلبة، ويعيّنها كإجراءات للروبوت من خلال اقتراحات التماس (grasp proposals) وتحسين المسارات (trajectory optimization). أما بالنسبة للكائنات القابلة للتشوه، فيُستخدم هذا التدفق كهدف تتبع في التخطيط القائم على النماذج، باستخدام نموذج ديناميكيات مبني على الجسيمات. وبفضل فصل فهم المهمة عن التحكم على المستوى المنخفض، يُمكن لـ NovaFlow الانتقال بسلاسة بين الهياكل المختلفة (embodiments). وقد تم التحقق من أداء النموذج في مهام تلاعب بـ كائنات صلبة، ومحورية، وقابلة للتشوه، باستخدام ذراع فرانكا على طاولة، وروبوت سبوت رباعي الأرجل المتنقل، حيث تم تحقيق تنفيذ فعّال بدون تدريب مسبق أو تدريب مخصص للهيكل المادي. موقع المشروع: هذا الرابط https URL.
بناء الذكاء الاصطناعي بالذكاء الاصطناعي
من الفكرة إلى الإطلاق — عجّل تطوير الذكاء الاصطناعي الخاص بك من خلال البرمجة المشتركة المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.