HyperAIHyperAI

Command Palette

Search for a command to run...

3D-R1: تحسين الاستدلال في النماذج البصرية اللغوية ثلاثية الأبعاد لفهم موحد للمشهد

Ting Huang Zeyu Zhang Hao Tang

الملخص

أحرزت النماذج الكبيرة للرؤية واللغة (VLMs) تقدماً كبيراً في مهام فهم الصور ثنائية الأبعاد، مما أثار اهتماماً بتوسيع هذه القدرات لتشمل فهم المشاهد ثلاثية الأبعاد. ومع ذلك، تواجه النماذج الحالية الثلاثية الأبعاد للرؤية واللغة صعوبات في التفكير المنطقي والقدرة على التعميم، ناتجة عن قيود البيانات المكانية عالية الجودة وطبيعة الافتراضات الثابتة بالنسبة للزوايا المرئية. ولحل هذه التحديات، نقترح نموذجاً أساسياً يُسمى 3D-R1، يعزز قدرات التفكير المنطقي في النماذج الثلاثية الأبعاد للرؤية واللغة. وبشكل محدد، نقوم أولاً ببناء مجموعة بيانات اصطناعية عالية الجودة تتضمن تفكيراً خطوياً (CoT)، تُسمى Scene-30K، مستخدمين مجموعات بيانات موجودة للرؤية واللغة ثلاثية الأبعاد، بالإضافة إلى محرك بيانات مبني على نموذج Gemini 2.5 Pro. وتُستخدم هذه المجموعة كبيانات بدء باردة (cold-start initialization) لنموذج 3D-R1. علاوة على ذلك، نستفيد من سياسات التعلم المعزز مثل GRPO خلال عملية التدريب المعزز، بهدف تعزيز القدرات التفكيرية، ونُدخل ثلاث دوال مكافأة: مكافأة إدراكية، ومكافأة مماثلة معنوية، ومكافأة تنسيقية، للحفاظ على دقة الكشف ودقة التفسير المعنوي للإجابات. كما نقدم استراتيجية اختيار ديناميكية للزوايا، تختار تلقائياً أكثر الزوايا إفادةً لفهم المشهد ثلاثي الأبعاد. تُظهر التجارب الواسعة أن نموذج 3D-R1 يحقق متوسط تحسن بنسبة 10% عبر عدة معايير لفهم المشاهد ثلاثية الأبعاد، مما يبرز فعاليته في تعزيز التفكير المنطقي والقدرة على التعميم في فهم المشاهد ثلاثية الأبعاد. الكود: https://github.com/AIGeeksGroup/3D-R1. الموقع الإلكتروني: https://aigeeksgroup.github.io/3D-R1.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp