الملخص

نُدمج بين سياسات التشتت (diffusion policies) وتمثيلات المشهد ثلاثية الأبعاد لتحسين التلاعب بالروبوتات. تعتمد سياسات التشتت على تعلم توزيع الإجراءات شرطيًا على حالة الروبوت والبيئة باستخدام نماذج التشتت الشرطي، وقد أظهرت مؤخرًا تفوقها على كل من الطرق التقليدية الثابتة وطرق تعلم توزيع الإجراءات الشرطيّة البديلة. أما السياسات الروبوتية ثلاثية الأبعاد، فهي تعتمد على تمثيلات ميزات المشهد ثلاثية الأبعاد، يتم جمعها من منظور واحد أو أكثر باستخدام كاميرات تُحسِّس العمق، وقد أثبتت قدرتها على التعميم الأفضل مقارنةً بتمثيلاتها ثنائية الأبعاد عبر زوايا كاميرات مختلفة. نُوحد هذين المجالين ونقدّم "3D Diffuser Actor"، وهي بنية سياسة عصبية، تُبنى، عند تلقّيها تعليمات لغوية، تمثيلًا ثلاثي الأبعاد للمنظر البصري، ثم تُشغّل هذا التمثيل لتُجرّب تقليل الضوضاء بشكل تكراري على الدورانات والانزلاقات ثلاثية الأبعاد الخاصة بطرف الروبوت النهائي. في كل تكرار لعملية تقليل الضوضاء، تمثل نموذجنا تقديرات وضع طرف الروبوت كـ"رموز مشهد ثلاثية الأبعاد"، وتنبئ بخطأ الانزلاق والدوران ثلاثي الأبعاد لكل رمز، وذلك عبر تمييز هذه الرموز باستخدام انتباه نسبي ثلاثي الأبعاد تجاه رموز بصرية ولغوية أخرى ثلاثية الأبعاد. يُعدّ 3D Diffuser Actor أحدث حالة من الحالات المتقدمة (SOTA) على مجموعة بيانات RLBench، حيث حقق مكسبًا مطلقًا في الأداء بنسبة 16.3% مقارنةً بالحالة الحالية في البيئة ذات المنظور المتعدد، و13.1% في البيئة ذات المنظور الواحد. أما على معيار CALVIN، فقد تفوق على الحالة الحالية في سياق التعميم على مشاهد غير مرئية مسبقًا، حيث نجح في تنفيذ 0.2 إجراءات إضافية، ما يُمثّل زيادة نسبية بنسبة 7%. كما أثبت فعاليته في العالم الحقيقي من خلال عدد محدود جدًا من الأمثلة التوضيحية. قمنا بتحليل اختيار التصميم المعماري لنموذجنا، مثل تمييز المشهد ثلاثي الأبعاد والانتباه النسبي ثلاثي الأبعاد، وبيّنّا أن جميع هذه العناصر تسهم في تحسين القدرة على التعميم. تشير نتائجنا إلى أن تمثيلات المشهد ثلاثية الأبعاد والنمذجة التوليدية القوية تمثلان المفتاح لتعلم فعّال للروبوتات من خلال الأمثلة.