HyperAIHyperAI

Command Palette

Search for a command to run...

Open6DOR: تقييم إعادة ترتيب الكائنات ذات 6 درجات من الحرية باستخدام تعليمات مفتوحة ونهج يعتمد على نموذج التعلم البصري-اللغوي

He Wang Zhizheng Zhang Qiyu Dai Songlin Wei Jiazhao Zhang Xiaomeng Fang Chaoyi Xu Haoran Geng Yufei Ding

الملخص

في هذه الدراسة، نُقدّم خطوة رائدة في إنشاء معيار ونهج لعملية إعادة ترتيب الأشياء ذات 6 درجات من الحرية (Open6DOR) على مستوى الطاولة (table-top). بشكل خاص، قمنا بجمع مجموعة بيانات اصطناعية تتضمن أكثر من 200 كائنًا، وصممنا بعناية أكثر من 2400 مهمة إعادة ترتيب Open6DOR. تُقسَّم هذه المهام إلى ثلاث مسارات: مسار الموضع (Position-track)، ومسار الدوران (Rotation-track)، ومسار 6 درجات من الحرية (6-DoF-track)، بهدف تقييم وكفاءة الوكلاء المُتَنَقِّلِين (embodied agents) في التنبؤ بمواقع واتجاهات الأشياء المستهدفة. بالإضافة إلى ذلك، نقترح منهجًا مبنيًا على نموذج اللغة والرؤية (VLM) لـ Open6DOR، يُسمّى Open6DOR-GPT، الذي يزوّد GPT-4V بالوعي بالبعد الثلاثي (3D-awareness) والمساعدة من خلال المحاكاة، مع الاستفادة من قوته في التعميم (generalizability) واتباع التعليمات (instruction-following) في هذا السياق. قارنا الوكلاء المُتَنَقِّلِين الحاليين بأداء Open6DOR-GPT على المعيار المُقترح لـ Open6DOR، ووجدنا أن Open6DOR-GPT يحقق أفضل أداء مُسجَّل حتى الآن (state-of-the-art). كما أظهرنا أداءً مُبهرًا لـ Open6DOR-GPT في تجارب واقعية متنوعة. نخطط لإطلاق النسخة النهائية من المعيار، إلى جانب طريقة التحسين المُطوَّرة لدينا، في أوائل سبتمبر، ونُوصي بالانتظار حتى ذلك الحين لتحميل مجموعة البيانات.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp