3D-R1: تحسين الاستدلال في النماذج البصرية اللغوية ثلاثية الأبعاد لفهم موحد للمشهد

أحرزت النماذج الكبيرة للرؤية واللغة (VLMs) تقدماً كبيراً في مهام فهم الصور ثنائية الأبعاد، مما أثار اهتماماً بتوسيع هذه القدرات لتشمل فهم المشاهد ثلاثية الأبعاد. ومع ذلك، تواجه النماذج الحالية الثلاثية الأبعاد للرؤية واللغة صعوبات في التفكير المنطقي والقدرة على التعميم، ناتجة عن قيود البيانات المكانية عالية الجودة وطبيعة الافتراضات الثابتة بالنسبة للزوايا المرئية. ولحل هذه التحديات، نقترح نموذجاً أساسياً يُسمى 3D-R1، يعزز قدرات التفكير المنطقي في النماذج الثلاثية الأبعاد للرؤية واللغة. وبشكل محدد، نقوم أولاً ببناء مجموعة بيانات اصطناعية عالية الجودة تتضمن تفكيراً خطوياً (CoT)، تُسمى Scene-30K، مستخدمين مجموعات بيانات موجودة للرؤية واللغة ثلاثية الأبعاد، بالإضافة إلى محرك بيانات مبني على نموذج Gemini 2.5 Pro. وتُستخدم هذه المجموعة كبيانات بدء باردة (cold-start initialization) لنموذج 3D-R1. علاوة على ذلك، نستفيد من سياسات التعلم المعزز مثل GRPO خلال عملية التدريب المعزز، بهدف تعزيز القدرات التفكيرية، ونُدخل ثلاث دوال مكافأة: مكافأة إدراكية، ومكافأة مماثلة معنوية، ومكافأة تنسيقية، للحفاظ على دقة الكشف ودقة التفسير المعنوي للإجابات. كما نقدم استراتيجية اختيار ديناميكية للزوايا، تختار تلقائياً أكثر الزوايا إفادةً لفهم المشهد ثلاثي الأبعاد. تُظهر التجارب الواسعة أن نموذج 3D-R1 يحقق متوسط تحسن بنسبة 10% عبر عدة معايير لفهم المشاهد ثلاثية الأبعاد، مما يبرز فعاليته في تعزيز التفكير المنطقي والقدرة على التعميم في فهم المشاهد ثلاثية الأبعاد. الكود: https://github.com/AIGeeksGroup/3D-R1. الموقع الإلكتروني: https://aigeeksgroup.github.io/3D-R1.