روبو بوينت: نموذج رؤية-لغة للتنبؤ بالقدرات المكانية في الروبوتات

من إعادة ترتيب الأشياء على الطاولة إلى وضع البقالة على الرفوف، يجب على الروبوتات التخطيط لنقاط عمل دقيقة لأداء المهام بدقة وموثوقية. رغم التبني الحديث لنموذج اللغات المرئية (VLMs) للتحكم في سلوك الروبوتات، فإن هذه النماذج تواجه صعوبة في التعبير بدقة عن أفعال الروبوت باستخدام اللغة. نقدم خط أنابيب إنتاج بيانات اصطناعية تُضبط تلقائيًا لتناسب نماذج اللغات المرئية مع مجالات ومطالب الروبوتات. باستخدام هذا الخط الأنابيب، ندرب RoboPoint، وهو نموذج لغة مرئية يتنبأ بنقاط الصورة الرئيسية بناءً على تعليمات اللغة. بالمقارنة مع الطرق البديلة، طريقتنا لا تتطلب جمع بيانات من العالم الحقيقي أو عرضًا بشريًا، مما يجعلها أكثر قابلية للتوسع في بيئات ووجهات نظر متنوعة. بالإضافة إلى ذلك، RoboPoint هو نموذج عام يمكنه تمكين العديد من التطبيقات الثانوية مثل التنقل الآلي، والتعامل مع الأشياء، والمساعدة في الواقع المعزز (AR). تظهر تجاربنا أن RoboPoint يتفوق على أفضل النماذج الحالية من نماذج اللغات المرئية (مثل GPT-4o) وتقنيات التحفيز البصري (مثل PIVOT) بنسبة 21.8% في دقة التنبؤ بالفرص المكانية وبنسبة 30.5% في معدل نجاح المهام الثانوية. موقع المشروع: https://robo-point.github.io.