Yicheng He Chengsong Huang Zongxia Li Jiaxin Huang Yonghui Yang

الملخص
توفر التعلم المعزز (RL) إطارًا منهجيًا لتحسين نماذج الرؤية واللغة (VLMs) في المهام المعقدة المتعلقة بالاستنتاج. ومع ذلك، تعتمد الطرق الحالية للتقوية على علامات مُصنفة يدويًا أو على قواعد مخصصة للمهام لتعريف المكافآت القابلة للتحقق، وهي أمور مكلفة وصعبة التوسع. نقدم "VisPlay"، إطارًا ذاتي التطور للتقوية المعززة، الذي يمكّن نماذج الرؤية واللغة من تحسين قدراتها الاستنتاجية بشكل مستقل باستخدام كميات كبيرة من البيانات الصورية غير المُصنفة. يبدأ VisPlay من نموذج أساسي واحد، ثم يُعيّن النموذج دورين تفاعليين: "مُسْتَفْتِي مُشْرَطٌ بالصورة"، الذي يُولِّد أسئلة بصرية صعبة لكنها قابلة للإجابة، و"مُستَنْبِت متعدد الوسائط"، الذي يُولِّد إجابات ذهبية (silver responses). يتم تدريب هذين الدورين معًا باستخدام خوارزمية تحسين السياسة النسبية الجماعية (GRPO)، التي تدمج مكافآت التنوّع والصعوبة لموازنة تعقيد الأسئلة المولَّدة مع جودة الإجابات الذهبية. يُظهر VisPlay كفاءة في التوسع عبر عائلتين من النماذج. عند تدريبه على نماذج Qwen2.5-VL وMiMo-VL، يحقّق VisPlay تحسينات ثابتة في الاستدلال البصري، والتمييز التراكبي، وخفض التصوّرات الخاطئة عبر ثمانية معايير اختبار، بما في ذلك MM-Vet وMMMU، مما يُشير إلى طريق قابل للتوسع نحو الذكاء المتعدد الوسائط ذاتي التطور. يمكن الاطلاع على صفحة المشروع عبر الرابط: https://bruno686.github.io/VisPlay/
بناء الذكاء الاصطناعي بالذكاء الاصطناعي
من الفكرة إلى الإطلاق — عجّل تطوير الذكاء الاصطناعي الخاص بك من خلال البرمجة المشتركة المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.