HyperAIHyperAI

Command Palette

Search for a command to run...

روبو بوينت: نموذج رؤية-لغة للتنبؤ بالقدرات المكانية في الروبوتات

Wentao Yuan Jiafei Duan Vals Blukis Wilbert Pumacay Ranjay Krishna Adithyavairavan Murali Arshalan Mousavian Dieter Fox

الملخص

من إعادة ترتيب الأشياء على الطاولة إلى وضع البقالة على الرفوف، يجب على الروبوتات التخطيط لنقاط عمل دقيقة لأداء المهام بدقة وموثوقية. رغم التبني الحديث لنموذج اللغات المرئية (VLMs) للتحكم في سلوك الروبوتات، فإن هذه النماذج تواجه صعوبة في التعبير بدقة عن أفعال الروبوت باستخدام اللغة. نقدم خط أنابيب إنتاج بيانات اصطناعية تُضبط تلقائيًا لتناسب نماذج اللغات المرئية مع مجالات ومطالب الروبوتات. باستخدام هذا الخط الأنابيب، ندرب RoboPoint، وهو نموذج لغة مرئية يتنبأ بنقاط الصورة الرئيسية بناءً على تعليمات اللغة. بالمقارنة مع الطرق البديلة، طريقتنا لا تتطلب جمع بيانات من العالم الحقيقي أو عرضًا بشريًا، مما يجعلها أكثر قابلية للتوسع في بيئات ووجهات نظر متنوعة. بالإضافة إلى ذلك، RoboPoint هو نموذج عام يمكنه تمكين العديد من التطبيقات الثانوية مثل التنقل الآلي، والتعامل مع الأشياء، والمساعدة في الواقع المعزز (AR). تظهر تجاربنا أن RoboPoint يتفوق على أفضل النماذج الحالية من نماذج اللغات المرئية (مثل GPT-4o) وتقنيات التحفيز البصري (مثل PIVOT) بنسبة 21.8% في دقة التنبؤ بالفرص المكانية وبنسبة 30.5% في معدل نجاح المهام الثانوية. موقع المشروع: https://robo-point.github.io.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp
روبو بوينت: نموذج رؤية-لغة للتنبؤ بالقدرات المكانية في الروبوتات | مستندات | HyperAI